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我 们 把 只 涉及 有 限 个 事件 概率 的 , 那 一 部 分 概率 论 林 做 初 备 概率 论 . 


A. H. 柯 尔 莫 戌 洛 夫 ,《 概 率 论 的 基本 概念 》[32] 


$1. 有 限 种 结局 试验 的 概率 模型 


1. 基本 事件 空间 考虑 某 项 试验 , 其 结果 在 某 一 组 条 件 (“条 件 复 形 ”) 下 由 有 
限 种 不 同 的 结局 (现象 ) wi,:… ,wn 描绘 . 关于 这 些 结局 的 实际 本 性 并 不 重要 , 重要 
的 是 不 同 结局 的 个 数 N 是 有 限 的 . 我 们 把 这 些 结局 wi,…. ,ww 称 做 基本 事件 , 而 把 
一 切 结局 的 全 体 
Q 一 fwi, ,WN } 
称 做 (AR) 基本 事件 空间 , 或 样本 空间 . 
引进 基本 事件 空间 的 概念 , 是 形成 不 同 试验 的 概率 模型 (概率 的 理论 ) 的 第 一 步 . 


下 面 是 描绘 基本 事件 空间 构造 的 几 个 例子 . 
例 1 ХТЖ р”, 基本 事件 空间 由 两 个 乓 组 成 : 


О = {7,Е}, 


其 中 2 表示 出 现 ER, 而 F 表示 出 现 “ 反 面 ". (这 时 假设 , 诸如 EPERE 
Яя”, ЧЕХ”... 的 情况 不 会 出 现 . 假设 不 出 现 “正面 ”就 出 现 “ 反 面 ”.) 


例 2 将 一 枚 硬币 重复 掷 ”次 , 基本 事件 空间 为 
О = {w: w = (a1, , и), ai = 29 F, 


且 基 本 事件 的 总 数 NQ) = 2”. 
例 3 НАЖ р. 如 果 硬 币 掷 出 正面 Z, 则 掷 六 面 分 别 刻 有 1,2,3,4,5,6 个 
AWET; 假如 硬币 掷 出 反面 К, ИНН. 那么, 该 试验 的 基本 事件 空间 为 


Q = {21, 72, 73, 74, 75, 76, FZ, FF}, 


其 中 Z З ТН ЧЕН, Е чн “БАН, 而 1,2,3,4,5,6 RRETH H 
НУ БАЖ. 

中 原 书 个 别 “ 小 节 ” 有 “标题 ". 为 便于 读者 使 用 , 在 没有 标题 的 “小 节 ”, 我 们 特别 加 上 了 标题 . 
— рж | 


$1. 有 限 种 结局 试验 的 概率 模型 “5. 


注 在 讲 概率 论 时 , 一 般 不 提 “ 试 验 在 一 组 条 件 下 进行 ”, 而 默认 这 样 的 “条 件 ” 
FE. 然而 , 这 样 的 “和 条件” 即便 对 于 初等 概率 论 也 很 重要 , 不 同 的 “条 件 ” 对 同一 试 
验 , 也 可 导致 完全 不 同 的 概率 模型 和 概率 的 理论 . (参见 下 文 的 第 3 小 节 “ 事 件 的 关 
系 和 运算 ”开头 关于 这 个 问题 的 说 明 .) 

2. 随机 抽样 与 随机 分 配 现在 研究 更 复杂 一 些 的 例子 , 这 些 例子 讨论 自信 M 
个 不 同 球 的 箱子 中 , 抽取 п 个 球 的 不 同方 法 . 

а 放 回 抽样 . 如 果 每 次 将 抽 到 的 球 在 下 一 次 抽 球 前 放 回 箱 中 , 则 试验 称 做 
放 回 抽样 .这 时 , 由 n 个 球形 成 的 每 一 个 样本 可 以 表示 为 同 量 (a1,… ,an), 其 中 
aili = 1,2,... ,n) 是 第 i 次 抽 到 的 球 的 编号 . 易 见 , 对 于 放 回 抽样 , 每 个 а, 可 以 是 
1,2,.... M 等 М 个 数 中 任何 一 个 数 ， 基本 事件 空间 的 描述 , 本 质 上 与 如 下 情形 有 
Ж: 诸如 (4,1,2,1) 和 (1,4,2,1) 是 认为 是 不 同 的 基本 事件 , 还 是 同一 基本 事件 . 因此 ， 
习惯 上 区 分 两 种 情形 : 有 序 抽样 和 无 序 抽样 . 在 前 一 种 情形 下 , 由 同一 些 元 素 组 成 的 
两 个 样本 , 只 要 其 中 元 素 的 前 后 顺序 有 所 不 同 , 就 视 为 不 同 的 样本 . 在 后 一 种 情形 下 ， 
不 管 元 素 的 顺序 , 只 要 由 同一 些 元 素 组 成 的 样本 , 都 视 为 同一 个 样本 . 为 强调 具体 的 
样本 究竟 是 哪 一 种 , 对 于 有 序 样本 , 我 们 将 使 用 记号 (a1,… ,an), 而 无 序 样本 则 记 作 


lai,’ ~ ‚ Qn |. 


于 是 , 放 回 有 序 样 本 的 基本 事件 空间 о 具有 如 下 构造 : 
О = {w :w = (а1,:::,ал), а = 1,2,:::,М}, 
且 不 同 结局 (样本 ) 的 个 数 , 等 于 
М(О) = М", (1) 
即 组 合 分 析 中 的 自 М 个 元 素 中 选 n 个 且 允 许 重 复 的 置换 的 总 数 . 


”” 放 回 无 序 样本 . 即 排列 组 合 中 的 “ 自 M 个 元 素 中 选 n 个 且 允 许 重 复 的 组 合 的 
总 数 ”其 基本 事件 空间 为 : 


Q ={ш:ш = [a an], ai = 1,2,---, M}. 


易 见 , 不 同 的 无 序 样本 总 数 N(Q), 小 于 有 序 样本 总 数 . 现在 证 明 , 不 同 无 序 样本 总 
Ж 


N(Q) — См+п-1› (2) 
其 中 Cl 是 自 天 个 元 素 中 取 1! 个 的 组 合 数 : 
k! 
我 们 用 数学 归纳 法 证 明 . 以 N(M, п) 表示 我 们 感 兴趣 的 结局 的 个 数 . 易 见 , 对 
于 一 切 k<M,， 


C; = 


М№(Е,1) = Е = СІ. 
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现在 假设 N(k,n) = CR (к< М), 并 且 证 明 , WRK n MR n+l 此 式 仍 然 成 立 . 
对 于 无 序 样本 aj,… ал), 可 以 认为 其 顺序 按 不 减 顺序 排列 : al < az < --: < алы. 
显然 , 无 序 样本 的 个 数 , 当 ai = 1 时 为 ММ, п); Ча = 2 时 为 N(M 一 1,n); 依次 
类 推 , 得 


М(М,п+1) = N(M,n)+N(M—1,n)+:..+N(1,n) 
= См+п-1 + См-1+а-1 + +С» 
— (Chan ш 1) + (Силин т С 1 ат) 


+ (Саф Сл) + С = Су. 
其 中 用 到 二 项 式 系数 的 如 下 性 质 : 
С + OF = Ср. 


这 一 等 式 , 是 由 帕斯卡 (B. Pascal) 三 角形 计算 二 项 式 系数 的 基础 , 很 容易 证 明 . 
例 5 不 放 回 抽样 . 假设 ”< 和 М, 且 凡 是 抽 到 的 球 都 不 再 放 回 . 这 里 , 也 考虑 两 
种 可 能 的 抽 法 : 有 序 抽 样 和 无 序 抽 样 . 


对 于 不 放 回 有 序 抽样 (组 合 分 析 中 称 做 目 М 个 元 素 中 选 n 个 的 有 序 无 重复 排 
列 ), 其 基本 事件 空间 为 
Q = {ш :ш 一 (21, …: ‚ ân), Qk Fank Flai = 1,2,... ‚М}, 


而 О 中 的 元 素 的 总 数 等 于 M(M 一 1)…(M 一 n++1). 将 此 数 记 作 (М), 或 AR, Ж 
做 “ 自 M ЛЖ п 个 的 排列 数 ”. 

对 于 不 放 回 无 序 抽样 (组 合 分 析 中 称 做 自 М 个 元 素 中 选 n 个 无 重复 的 置换 )， 
其 基本 事件 空间 为 


Q = {ш:ш = [а1,°· ‚ ав |, ак т а, К т Ба: =1,2,... М}, 


9 
| М(9) = 0% (3) 


个 元 素 . 事实 上 , 由 ”个 不 同 元 素 形 成 的 无 序数 组 [a1,… ,an], 可 以 得 到 恰好 n! 个 
有 序数 组 , 从 而 


№0) х п! = (М), N(Q) = Mn = С. 


如 果 自 含 М 个 球 的 箱 中 选 п 个 球 , 则 可 以 将 不 同 结 局 的 个 数 归 纳 为 表 1—1: 


$1. 有 限 种 结局 试验 的 概率 模型 ‚7. 


”抽样 方式 不 同 抽 法 的 总 数 
AFF М" 
ТО п 次 抽样 а 


对 于 М = 3,n = 2, 相应 基本 事件 空间 的 结构 列 为 表 1 - 2: 


表 1 一 2 
ох | 基本 事件 
有 序 | (@,1(,2)(1, 3) (2, 1)(2,2)(2, 3)(3, 1)(3, 2)(3, 3) 
ук и кы __ №10,2] 8,3] 1,2), 3][2, 3 
(1,2)(1,3)(2, 1)(2, 3)(3, 1) (3,2) 


кн m, 21, a, 3] 


例 6 按 箱 分 配 质点 . 考虑 按 箱 分 配 质点 问题 : 将 ”个 质点 (小 球 ) 分 配 到 M 
个 箱 中 去 , 并 研究 质点 分 配 问 题 中 基本 事件 空间 的 构造 . 问题 产生 于 统计 物理 , 例如 ， 
在 研究 п 个 粒子 (WEF, EP., ) Ж М 种 状态 的 分 布 . 

假设 М 个 箱子 一 一 编号 为 1,2,… M, 而 n 个 质点 可 以 辨别 (AAAF) Н 
别 编号 1,2,... ,n. 那么 ,n 个 质点 分 配 到 м 个 箱子 中 ， 完全 可 以 由 数组 (az, an) 
Miz, 其 中 a 表示 第 i 个 质点 编号 为 а, ИР; 假如 n 个 质点 不 可 辨别 (完全 相 
F), 则 它们 分 配 到 М 个 箱 中 完全 可 以 由 数组 la- an] 1822, 其 中 а; 表示 第 i 个 
质点 分 到 编号 为 а, 的 箱 中 . 

比较 例 4 和 例 5 所 讨论 的 情形 , 可 以 得 到 如 下 对 应 关系 : 


(有 序 抽 样 ) © (质点 可 以 办 )， 
(无 序 抽样 ) > (质点 不 T). 


这 种 对 应 关系 表示 , Е “ARA М 个 球 的 箱子 中 抽 选 "个 球 ” 的 问题 中 , 有 序 (无 
F) 抽样 相当 于 , 可 辨 质点 (不 可 辨 质点 ) 分 配 到 м 个 箱 中 的 分 配 问题 
下 面 的 对 应 关系 具有 类 似 的 含义 : 


( 放 回 抽样 ) © ( 箱 中 可 容纳 任意 多 质点 )， 
(不 放 回 抽样 ) > (着 中 最 多 可 容纳 一 个 质点 ). 


由 这 些 对 应 关系 , 可 以 建立 如 下 类 型 的 对 应 关系 : 
(ЖЖ) > ( 不 可 办 质点 按 箱 分 配 , НЕВЕ ЛА) 
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等 等 . 由 于 这 些 对 应 关系 , 就 可 以 在 可 辩 和 不 可 辨 质 后 按 箱 分 配 问 题 中 , 利用 例 4 和 
例 5 指 绘 基本 事件 空间 , 既 包 括 “ 有 抑制 ”的 箱子 (最 多 容纳 一 个 质 把 的 箱子 ) 和 “无 
抑制 ”的 箱子 (可 容纳 任意 个 质点 的 箱子 ), 

表 1—3 演示 按 两 个 箱子 分 配 3 个 小 球 的 情形 , 其 中 “o” 和 “e” 分 别 表示 日 球 和 
黑 球 . 如 采 分 到 箱 中 的 球 不 可 辩 , 则 用 “+” 表 示 . 


表 1 一 3 
基本 事件 

р ol Te] CIs BIL Те: 

на м 个 球 箱 

+ Q 中 的 n 次 抽样 ри Тї ы 
ны DOM Бе [| 
a EN ГЕН | ГГ РЯ 
十 |+| | 十 | |+ [ы 


对 于 质 挟 按 箱 分 配 问题 中 , 利用 上 面 指出 的 “抽样 ” 与 “分 配 ” 之 间 的 对 偶 性 ， 
器 可 以 明显 地 求 出 分 配 结 局 的 个 数 . 相应 的 结果 归纳 为 表 1—4, 其 中 也 包含 表 1 一 1 
的 结果 . | 


# 1—4 


自 含 М 个 球 箱 Chan- Ф) 不 可 辩 目 含 М 个 球 箱 
FT 人 中 的 п 次 抽样 (М)» @ TTH T QFE) п 次 抽样 
不 放 回 [= z 无 抑制 
不 可 类 


抽样 方式 “| 不同 抽 法 的 总 数 分 配方 式 


统计 物理 学 中 , 把 不 满足 帕 利 (W. Раш) 抑制 原理 〈“ 每 箱 中 最 多 容纳 一 个 质 
кА”) 的 不 同 (不 可 辨 ) 质点 , 称 做 麦克 斯 韦 -RRE (3. С. Maxwell-L. Boltzmann) 
(物理 ) 统计 (М 1—4 D); 有 换 制 不 可 辨 质 点 的 情形 称 做 博 泽 - 爱 因 斯 坦 [S. М. 
Возе-А. Einstein) 统计 (AR 1—4 D). 如 果 质 点 不 可 辨 但 满足 提 制 原理 , 则 称 做 弗 
Ж - дн! м, (Е. Fermi-P. А. М. Dirac) 统计 ( 见 表 1—4 D). 熟知 , 例如 电子 、 质 子 和 
中 子 都 服从 弗 米 — 迪 拉 克 统 计 , 光子 和 x 介子 服从 博 泽 - 爱 因 斯 坦 统计 ( 见 表 1—4 
D). 此 外 , 在 物理 学 中 再 没有 发 现 可 辨 粒子 不 服从 抑制 原理 的 情形 . 

3. 事件 及 其 关系 和 运算 除 基本 事件 空间 的 概念 外 , 现在 引进 重要 概念 一 一 
事件 . 事件 的 概念 , 是 建立 所 考察 试验 的 各 种 概率 模型 (“理论 ”) 的 基础 . 在 试验 的 
结果 中 , 试验 者 一 般 并 不 关心 究竟 出 现 了 哪 种 具体 的 结局 , 而 关心 出 现 的 结局 属于 


$1. 有 限 种 结局 试验 的 概率 模型 ‚9. 


一 切 结局 集合 的 哪个 子 集 .满足 试验 条 件 的 一 切 子 集 4 С о, 分 为 两 种 类 型 : “结局 
ОЕ 如 或 “结局 @ А”. 我 们 称 这 样 的 子 集 4 为 事件 
例如 , 将 一 枚 硬币 重复 搓 三 次 , 一 切 可 能 结局 的 空间 О, 由 8 个 点 构成 


О = {000, 001, 010, 011, 100, 101, 110, 111}, 


其 中 0 和 1 ет “ЕШ” 和“ 反面". 如 果 由 “一 组 条 件 ” 可 以 记录 (确定 、 
测量 等 ) 所 有 3 次 掷 硬 币 的 结果 , 则 例如 


А = {000, 001,010, 100} 


MEF: “МЕ RZA” ЕШ HARK. 假如 由 “一 组 条 件 ” 只 能 
НЕ АИ, 则 4 已 经 不 能 称 为 事件 , 因为 关于 “试验 的 具体 结局 w 是 
否 属 于 А”, 既 不 能 肯定 也 不 能 否定 . 

从 给 定 的 作为 事件 的 某 一 组 集合 出 发 , 经 过 某 些 变换 可 以 形成 一 些 新 事件 . 这 些 
变换 , 可 以 用 逻辑 的 语言 表述 为 “或 "、“ 与 "、'“ 非 ”, 而 用 和 集合 论 的 语言 表述 为 “并 ”、 
“Ж” ЯП “Ж”. 

并 对 于 两 个 集合 4 В, ж 


AUB= {ЕЯ :шЕА W wEB} 


为 集合 4 与 B 的 并 , 表示 由 属于 集合 4 或 B 的 点 形成 的 集合 . 用 概率 论 的 语言 . 
AUB 表示 事件 {事件 4 与 B 至 少 出 现 一 个 }. 
交 ЖАВЖ 
АПВ = {weN:wed H web} 


为 两 个 集合 4 与 B 的 交 , 表示 由 既 属 于 集合 4 同时 又 属于 集合 В 的 点 形成 的 集 
б. 用 概率 论 的 语言 , АПВ 表示 事件 {事件 4 与 B 同时 出 现 }. 
例如 , 如 果 А = {00, 01,10}, В = {11,10,01}, ЇЙЇ 


AU В = {00,01,10,11} = 9, ANB = {10,01}. 


ЖЖ 如 果 4 是 只 的 子 集 , 则 称 4 = {и e Q :wg A 为 集合 4 补 , 表示 PR 
属于 4 的 点 的 集合 . | 
 & 属于 B 但 不 属于 4 的 后 的 集合 称 做 В 与 4 的 差 , WE В\А. 那么 ,A = 
QA 用 概率 的 语言 ,4 表示 事件 “4 不 出 现 ”. 例如 , 事件 A = {00,01,10}, 则 事件 
А = {11} 表示 接连 两 次 掷 出 反面 . 
不 可 能 事件 和 必然 事件 ”一般 用 о 表示 空 集 . МЕН о 称 做 不 可 能 事 
+, 集合 О 自然 称 做 必然 事件 . 集合 4 和 А 没有 共同 点 , 因而 АПА 是 空 集 .® 
ФУ: A 和 B, Ж ANB =ø, ИЖ 4 和 в 不 相 容 , 否则 称 4 和 B 相 容 . -一 译 者 
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和 А УВ 不 相交 时 (AB = 8), RA 4 与 B 的 并 称 做 集合 4 与 В 的 和 
WE A+B. 

事件 代数 ”考虑 集合 АСО 的 某 个 集 系 Ao 则 利用 集合 运算 U,n \ 可 以 
由 .多 构造 新 集 系 , 其 中 元 素 也 是 事件 . 给 这 些 事件 补充 上 必然 事件 О 和 不 可 能 事 
о, 得 集 系 A, 则 .如 是 代数 . 所 谓 “代数” 即 9 的 这 样 的 集 系 , 满足 

1) PE .%, 

2) Æ A € Æ,B € £, 则 集合 А0 В, АПВ, ААВ 也 都 属于 A. 

由 以 上 的 叙述 , 可 见 作为 事件 系 最 好 考虑 本 身 是 代数 的 集 系 . 以 后 , 我 们 正 是 考 
虑 这 样 的 集 系 . 

我 们 列举 几 个 事件 代数 的 例子 . 

а) .如 = {9,2} — ЖН О Я о 构成 , 称 做 平凡 代数 ; 

b) Æ = {А, А, О, 2} 事件 4 产生 的 集 系 ; 

с) £ = {А: АСЯ} 一 一 9 全 部 子 集 的 集 系 (包括 空 集 Ø). 

易 见 , 所 有 这 些 事件 代数 是 按 下 面 的 原则 得 到 的 . 

TA RIER 


D = {D , Da} 


构成 集合 О 的 一 个 分 割 , 而 Di, Dn 是 该 分 割 的 原子 , 如 果 Di, Dr 非 空 且 
两 两 不 相 容 , 而 它们 的 和 等 于 О: 


Di +-+ В = 9. 
例如 , 假定 集合 О 由 3 个 点 构成 : = {1,2,3}, WFE 5 个 不 同 的 分 割 : 


Pı = {Di} Di = {1,2,3}; 

P = {D1, Də} Di = {1,2}, D2 = {3}; 
Bs3={Di,D2} Р = {1,3}, D2 = {2}; 

P= {D1, D2} Dı = {2,3}, D> = {1}; 

P; = {D1, Оо, D3} Di = {1}, Р» = {2}; Ds = {3}. 


(关于 有 限 集合 的 分 割 的 总 数 参见 本 节 的 习题 2.) 

如 果 考 虑 多 中 一 切 集合 的 并 连同 空 集 o, 则 得 到 的 集 系 是 代数 , 称 做 多 产生 
的 代数 , WIE 0(2). ТЕ, 代数 0(2) 的 元 素 由 空 集 в 与 分 割 9 之 原子 中 集合 的 
和 组 成 . 

这 样 , 如 果 多 Жо 的 某 一 分 割 , 则 它 与 代数 .多 = o( 多 ) 一 一 对 应 . 

逆 命 题 也 正确 . 设 .多 是 有 限 空间 О 的 子 集 的 代数 , 则 存在 唯一 分 割 多 , 其 原 
子 是 代数 .多 的 元 素 , ЖН .多 = 0(9). 事实 上 , 假设 集合 Z с.е 并 且 具 有 性 质 : 
对 于 任意 В € 多, 集合 D 门 B 要 么 与 DES, 要 么 是 空 集 . WA, 这 样 集合 р 的 
全 体 组 成 分 割 多 并 且 具 有 所 要 求 的 性 质 В = о(%). HFA а), 取 只 含 一 个 集合 
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的 ру = О 平凡 分 割 ; 对 于 例 b), 多 = {4, А}. 对 于 例 с), 多 是 只 含 一 个 点 的 集合 
{ш}, ш є О Иж Л, 即 @ 产生 的 代数 是 О 的 一 切 子 集 的 代数 . 

对 两 个 分 割 @, 和 Z, WMR 0(0) С 0(2,), ЖЗ Z ИН 9, “ 细 
小 ”, WE 97, < 9. 

像 前 面 一 样 , 假设 空间 О 有 有 限 个 点 wi,… ,wn 构成 , Ww NA) 为 例 с) 中 组 
成 体系 AA 的 集合 的 总 数 . RANER NCA) =2^. 事实 上 , 每 一 个 非 空 集 合 де 
可 以 表示 为 4 = {wi,… ,wis}(1 < k <S N), ҖЧ ш, ЕЯ. 将 该 集合 与 由 0 或 1 Ж 
成 的 序列 

(0,... ‚0,1, 0, .-- ‚0,1,...), 


其 中 在 编号 为 i,- ,ix 的 位 置 上 为 1, 而 在 其 余 位 置 上 为 0. ЖА, 对 于 固定 的 К, 
形 如 А = {wi,，… ,wi.} 的 不 同 集合 4 的 总 数 等 于 & 个 (к 个 不 可 辨 质点 ) 分 配 
№ 个 位 置 (N 个 箱子 ) 不 同 分 法 的 总 数 . 根据 表 1 - 4 КИБ), 这 样 分 法 的 总 数 等 
于 Ck. 由 此 可 见 

N(A)=1+Ch t +O = 2^, 


Кр >= о. 

4. 概率 空间 “为 建立 只 有 有 限 种 可 能 结局 的 随机 试验 的 概率 模型 (理论 ), 我 
们 暂时 完成 了 最 初 的 两 步 : 引进 了 基本 事件 空间 О, 并 建立 了 О 子 集 的 某 种 体系 
‚в 一 一 代数 , 其 中 的 子 集 称 做 事件 . 有 时 把 多 = (0,4) 等 同 于 试验 . 现在 进行 下 
一 步 : 赋予 每 一 个 基本 事件 (每 一 种 结局 或 现象 ) w; є Q(i = 1 N) НЯ “>, 记 
(Е p(wi) 或 р, 称 做 基本 事件 (结局 ) wi 的 概率 . 假设 ро) 满足 条 件 : 

а) 0 < p(wi) < 1 (4E AHE), 

b) p(wl) 十 … 十 p(wN) = 1 (规范 性 ). 

从 给 定 的 基本 事件 ш, 的 概率 pwi) ШЖ, 按 公式 


Р(А) = у, р(ш;) (4) 
{ti:wi EA} | 
定义 任意 事件 АЕ. МЕЖ. 
定义 1 通常 称 
(0,.%,P) 


为 “概率 空间 ”, 其 中 9 = {w ,ww 2 ЖО 的 子 集 的 代数 ,而 P= {Р(А): Ас 
6). 概率 空间 决定 (定义 ) 只 有 有 限 种 可 能 结局 (基本 事件 ) 的 , 随机 试验 的 概率 模 
型 (理论 ). BA, Pwi} = р(ш)( = 1,..:, №) 
Р(2) = 0, (5) 
Р(0) = 1, (6) 
P(AU В) = P(A) + P(B) - Р(Ап В). (7) 
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特别 |， Ж АПВ = е, 则 
Р(АСВ) = P(A) + P(B), (8) 


而 
Р(А) = 1 — Р(А), (9) 


5. 古典 型 概率 ”在 一 些 具 体 的 情形 下 建立 概率 模型 时 , 给 出 基本 事件 空间 О 和 
代数 в, 一 般 并 不 复杂 . 这 时 , 在 初等 概率 论 里 , 一 般 用 о 的 全 部 子 集 的 代数 当做 
代数 26. 较 困 难 的 问题 , 是 定义 基本 事件 的 概率 . 实际 上 , 对 这 个 问题 的 回答 已 经 超 
出 了 概率 论 的 范围 , 我 们 不 在 此 过 多 地 讨论 这 个 问题 . 我 们 的 基本 任务 , 并 不 是 如 何 
赋予 某 一 个 试验 基本 事件 的 概率 , 而 是 根据 基本 事件 的 概率 , 计算 复合 事件 (- 名 中 
的 事件 ) 的 概率 . 

从 数学 观 后 来 看 十 分 清楚 , 对 于 有 限 基 本 事件 空间 , 只 要 赋予 基本 事件 w, 
WN 以 满足 ру ++ рм = 1 的 非 负 实 数 р," ‘a PN, 就 可 以 得 到 一 切 可 以 想象 的 
(有 限 的 ) 概率 空间 . 

对 于 具体 的 情形 , 所 确定 的 数值 的 正确 性 , 可 以 一 定 程度 地 利用 以 后 将 要 介绍 
的 大 数 定律 来 验证 . 在 上 述 情形 下 , 根据 大 数 定律 , 对 于 给 定 的 在 相同 条 件 下 进行 的 
较 长 “独立 ”试验 系列 , 基本 事件 出 现 的 频率 “十 分 接近 ”它们 相应 的 概率 . 

鉴于 赋予 试验 基本 事件 以 概率 值 的 困难 , 我 们 指出 , 存在 许多 实际 情形 , 在 这 些 
情形 下 由 于 对 称 性 或 均衡 性 的 直观 , 把 一 切 可 能 出 现 的 基本 事件 视 为 等 可 能 的 是 合 
理 的 . 因此 , 假如 基本 事件 空间 О 由 点 wi,:… ,wn 构成 , 其 中 入 < оо, М 


1 
р(ил) =- = plwy) = АТ) 


从 而 对 于 任何 事件 4 EA, 
Р(А) = ЧЕ, (10) 
其 中 М(А) 是 事件 4 所 含 基本 事件 的 个 数 . 

这 样 求 概 率 的 方法 称 做 十 典型 方法 ， 显然 , 这 时 求 概 率 P(A) 归结 为 计算 导致 
事件 4 的 基本 事件 的 个 数 . 这 一 般 用 排列 组 合 的 方法 来 实现 . 因此 , 在 涉及 有 限 集 
合 的 概率 的 计算 中 , 排列 组 合 的 方法 占有 重要 的 地 位 . 

Шт 重合 问题 . 假设 箱 中 有 MAR, 分 别 编 号 为 1,2,… ,M. 进行 n 次 放 回 
抽样 , 并 且 认 为 样本 是 有 序 的 . 显然 , 这 时 


Q = {м :ш = (ai anha; = 1,.…..,M}, 


而 (9) = М”. 根据 古典 型 概率 的 求法 , 认为 所 有 М" 个 结局 是 等 可 能 的 . 提出 下 
面 的 问题 : 事件 
А={ш:@#а;,1 Æ J} 
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的 概率 如 何 ? 即 事件 “ 抽 到 的 元 素 无 重复 ”的 概率 如 何 ? 显然 


М(А) = М(М –1).:-(М-п+1) = (М), 


РА) = Ч" = (1-м) 1) G-r) (11) 


该 例题 有 如 下 有 趣 的 解释 . 假设 某 一 班 中 有 n 名 学 生 , 每 个 学 生 的 生日 在 一 年 
365 天 中 每 一 天 是 等 可 能 的 ， 问 “и 个 学 生 中 至 少 有 两 人 的 生日 在 同一 天 ”的 概率 
Рзв5(п) 如 何 ? 可 以 把 “选择 ”生日 , 视 为 在 365 个 球 中 任 选 一 个 球 , 则 根据 (11) È 


(365)„ 
=1- | 
Рав (п) 365" 


对 于 某 些 ns 下 表 列 出 了 概率 Рз (п) 的 值 : 


对 于 充分 大 的 М, 


因此 


亦 即 


下 面 是 函数 P36s(n) 的 图 形 . 在 相同 的 尺度 下 ,Paes(n) 逼近 的 图 形 实际 上 与 函 
数 Pes(n) 的 图 形 相 重合 . 在 区 间 [0, 60] 的 范围 内 二 者 的 最 大 差别 近似 等 于 0.01( 在 
п = 30 的 邻 域内 ). 


1 0.01 

0.8 0.008 

0.6 0.006 

0.4 0.004 

0.2 0.002 
10 20 30 40 50 60 л 10 20 30 40 50 60 n 


P36s(n) 和 Рзв5(п) 图 形 Pes(n) — Pyes(n) 图 形 


有 趣 的 是 , (和 期 望 的 相反 !) 当 一 个 班 的 人 数 并 不 是 太 多 , 只 有 23 KFE, “n 
个 学 生 中 至 少 有 两 人 的 生日 在 同一 天 ”的 概率 就 已 达 1/2. 

в жж. 考虑 按 如 下 规则 的 抽 彩 . 假设 总 共有 М 张 编 号 为 1,2,…,M Ж 
票 , 其 中 编号 为 1, 2,…… ,mn(M > 2n) 的 中 彩 . 一 人 买 了 n KES, 问 至 少 有 一 张 中 奖 
的 概率 ( 记 作 P) 如 何 ? | 
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由 于 抽取 彩票 的 顺序 , 对 于 所 购买 的 彩票 是 否 中 奖 无 意义 , 所 以 可 以 认为 基本 事 
件 空间 有 如 下 结构 : 
О = {w:w = [a -anlak арк lai =1,, M}. 
由 表 1-14 М(0) = Ст. 现在 假设 
Ao = {w : w = [ai anh ak Z apk фа: =п+ь...,М} 


是 事件 “所 买 的 彩票 中 没有 中 奖 的 ”. 仍然 由 表 1 - 1 知 М(Ао) = CY_。 因此 ， 


См-»_ (М-п» _ n n n 
Pao) = бе” a = (1 laa) (0 т) 


ИП 


n n n 
P=1-P(4)=1- (1- 37) к) (а). 
如 果 М п? Нп» оо, Mj P(A) —> e~t, 


P > 1 — e™! x 0.632, 


其 中 收敛 的 速度 相当 快 : 当 ”= 10 时 , 概率 已 经 为 P = 0.670. 
6. 练习 题 
1. 验证 运算 A 和 U 的 下 列 性 质 的 正确 性 : 
交换 律 : ALUB = BUA, ANB = BNA; 
结合 律 : 4ULBUC) = (АЦВ)ЦС, АГҮ(В ГС) = (АПВ) ПС; 
分 配 律 : ANBUC) = (АПВ)Ц(АПС), AU(B 门 0) = (AUB) АЦО); 
ЖА АЈА = А, АПА = А; 
ЖИВИ: AUB = BAA, ANB = BUA. 
2. 设 集合 9 М 个 元 素 . 证 明 不 同 分 割 的 贝尔 (A.G.Bell) Ж Ву 决定 于 


OO LN 
By и: (12) 
=] 


提示 证 明 


N—1 
By = >. С, Bp, Во 一 1, 
k=0 
然后 证 明 (12) 式 满 足 上 面 的 递 推 公式 . 
3. МЕНН, 对 于 任何 有 限 集 合 系 A],… An, 有 (概率 的 半 可 加 性 ) 


P(A и...) Аһ) < P(A1) +... +Р(А,,). 


81. 有 限 种 结局 试验 的 概率 模型 ‚15. 


4. R 4 和 B 是 任意 二 事件 , ШЕН, АВ ВА 表示 事件 “4 和 B 中 必 出 现 一 个 
且 只 出 现 一 个 ", 并 且 


Р(АВОВА) = P(A) + P(B) - 2Р(АВ). 
5. 设 有 А1,---, An, ШИ So, 51,-..,5, 决定 于 如 下 关系 式 : So =1, 


Sr => P(Aki N- N Ak), 1 < г<п, 
Jr 


其 中 对 集合 {1,2,... ,n} 的 无 序 子 集 J, = [ki,… kr](ki # kj i ЖЖ. 
(1) Ж Bm 表示 事件 “在 Ai, ,4 中 必 出 现 一 个 且 只 出 现 一 个 ”. 证 明 


Р(В„) = У (-1)" PCP Sp. 


г=т 


特别 , 对 于 m = 0, 
Р(Во) =1- 5, + 92 一 …. 士 9n 


(2) ЧЕНЯ, “Ai, , 4 中 有 т 个 同时 出 现 ” 的 概率 等 于 


Р(В») +... +Р(В„) = У (-1) C Sr. 


r=m 


特别 ,“41,… , An 中 至 少 出 现 一 个 ”的 概率 等 于 
Р(В!) +.--+Р(В,) = S1 - S2 +- F Sa. 


(а) RR ЯМ, (Bonferroni) Ж4 О: 对 于 任意 让 = 1,2,… , (2k < п), 有 . 


ї=1 


n 
язы <P (Ùa) = S1 — S2 +- + 52-1; 
(b) Æ m% (J. H. Poincare) 恒等式 : 


P (Ù a) = 和 (Dr-15: 


(с) БВ Ж Ж (М. Fréshet) 不 等 式 : 


Or+1 < Or 


СЕНТ © бт (т=0,1... п – 1); 


ФМ, w. Feller, Ап Introduction to probability theory, У. І, ch. W. -— 译 者 


‚ 16. 第 一 章 。 初等 概率 论 


(d) МАЖ (Е. J. Gumbel) 不 等 式 : 


ОН! = Sry Ch- 5, 


‚ (r =1,2,... ,nC— 1); 
бл “с | 


6. 证 明 Р(АПВПС) > Р(4А)+Р(В)+Р(С)-2, 并 用 归纳 法 证 明 


P (Aa) > У`Р(АЙ — в 1) 


1=1 


7. 在 关于 n 和 M 不 同类 型 (类 型 :mr = za М э оо È п = туМ, М — со, В 
中 r 固定 ) 的 假设 下 , 讨论 例 7 中 概率 Pulin) 的 渐 近 性 . 将 结果 与 86 中 的 局 部 极 
限定 理 进行 比较 
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1. 二 项 分 布 假设 将 一 枚 硬币 接连 撕 п, 观测 结果 用 有 序数 组 (a1,:…. ,an) 
表示 , 其 中 , МЖ i АННЕ а; = 1, 当 第 i 次 掷 出 现 反面 时 a; = 0. 基本 事 
(22 [8] А К Л: 


9 = {w : w = (a1, ал), а = 0 ЭЙ 1). 
РЕ ТЕЖЕ: ш = (a1,… ,an) 概率 (权重 ) 
p(w) = р", 
其 中 p Ма ERE р+а = 1. 首先 证 明 , 这 样 定 义 概率 (权重 ) p(w) 是 合理 的 . 为 此 ， 


只 需 验证 
У (рш) = 1. 
иЄ 


考虑 所 有 满足 
>》 ai 一 k, (k =0,1,..- ) 2) 
的 基本 事件 w = (a, ,an). WER 1 4 (К 个 不 可 辨 的 1” 分 配 到 nn 个 位 置 上 )， 
这 样 的 基本 事件 个 数 等 于 C*. 因此 
У p(w) = У Скр" =(р+а)" = 1. 
wEL k=0 
设 A 是 空间 О 的 一 切 子 集 的 代数 , 在 .名 上 定义 了 概率 : 
P(4) = > pw), AEA, 


«Е А 
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其 中 P({w}) = pw), w є О, 从 而 定义 了 一 个 概率 模型 . 自然 称 做 描绘 n 次 掷 硬币 的 
概率 模型 . 

当 nn =1 H, 基本 事件 空间 仅 含 两 个 点 ш = 1 (“Я”) 和 w= 0 (“失败 ”), 而 概 
Ж p(1) = р, 自然 称 做 “成 功 的 概率 ”. 以 后 , 我 们 将 看 到 , 作为 п 次 “独立 ”试验 的 
结果 , 可 以 得 到 由 上 面 讨 论 的 描绘 ”次 掷 硬币 的 概率 模型 , 其 中 p 是 每 次 试验 成 功 
的 概率 . 

事件 


Ах 一 lw: w = (аз, ,Qn),Q1 +. + ап = К}, К =0,1...- ‚л, 
表示 恰好 大 “БА”. 由 以 上 的 讨论 , 可 见 


Р(А,) = Optg"t, В POP) =1. (1) 


k=0 
概率 (Р(Ао), Р(А1),-..,Р(А,)) 组 称 做 二 项 分 布 (在 容量 为 n 的 样本 中 “成 功 ” 
的 次 数 服 从 二 项 分 布 ). 
二 项 分 布 在 概率 论 中 起 着 十 分 重要 的 作用 , 出 现在 多 种 不 同 的 概率 模型 中 . 记 


P (k) = Р(А), k=0,1,...,n. 


对 于 р = 1/2 ( 掷 “ 对 称 ” 硬 币 ) 的 情形 , 24 n = 5, 10,20 时 , 图 1 是 二 项 分 布 的 示意 


РК) Р (ЕЁ) 
0.3 0.3 
0.2 п=5 0.2 п=10 
0.1 0.1 
012345 К 012345678910 k 
Р/‚(®) 
0.3 
0.2 п=20 
0.1 
0 5 8 10 12 15 20 А 


图 1 二 项 概率 的 示意 图 (n = 5, 10, 20) 


我 们 再 引进 一 个 (实际 上 与 上 一 个 等 价 的 ) 模型 , 它 插 绘 某 一 质 扣 的 随机 洲 动 . 
假设 质点 从 0 出 发 , 经 过 单位 时 间 向 上 或 向 下 移动 一 步 (图 2). = 


图 2 


TE, 经 过 п 步 质点 最 多 向 上 移动 п 步 或 向 下 移动 п 步 . 显然 , 质点 运动 的 每 
一 条 “轨道 ” w, 可 以 完全 由 数组 (a ,a,) 描绘 , 其 中 当 质 点 在 第 i 步 向 上 移动 时 
а; = +1, 而 当 质 点 在 第 i 步 同 下 移动 时 а; = -1. 赋予 每 条 “轨道 ” w 以 概率 ， 


vw) пи). 


р(ш) = pq 


其 中 v(w) 是 数组 w = (a1,… ,an) 中 “+1” 的 个 数 , Вр 


ди) = +++" 


2 
m pM g 非 负 且 p+q=1. 由 于 
Уро) =1, 
шЄО 
可 见 概率 组 {p(w)}, 连同 轨道 w = (a1,… ,an) 的 空间 О 及 其 子 集 , 确实 决定 质点 n 
步 运动 的 概率 模型 . 
现在 提出 另 一 个 问题 : 事件 А, “质点 经 n 步 到 达 纵 坐标 为 上 的 点 ”的 概率 如 
何 ? 一 切 满足 v(w) — [n — vw) = К, 即 满足 
ш) = n = k 
的 轨道 都 满足 上 面 提出 的 条 件 . 这 样 轨道 的 条 数 等 于 CQ+5/2 ( 见 表 1-4), 因此 


Р(А;) — С(П+®)/2 (+) /2 (т В) /2. 


于 是 ， 可 以 认为 二 项 分 布 {Р( Ав), n. ‚Р(Ав), n. ‚Р(А;)}, 描绘 质点 移动 n 步 
后 位 置 的 概率 分 布 . 特别 , 对 于 “对 称 ”( 即 р = а = 1/2) 的 情形 , 每 条 轨道 的 概率 等 
于 2-", 故 
Р( А») = С(т+®)/2д-". 
下 面 讨 论 当 ”一 со 时 这 些 概率 的 渐进 性 质 . 
如 果 移 动 步 数 等 于 2n, 则 由 二 项 式 系数 的 性 质 可 见 , 在 概率 РОА) (|К < 2n) 中 


最 大 概率 为 | 
Р(Ао) = С? 2—2". 
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由 斯 特 林 (J.Stirling) АХ») (№ (6) 式 ) 
п! ~ V2nme "n". 


所 以 
n (2п)1 2” 
(и Ут 
即 对 充分 大 的 п, ‚ 


对 于 质 反 移 动 2п 步 的 情形 , Я 3 是 产生 二 项 分 布 的 示意 图 (注意 , 与 图 2 ЛУН), 
时 轴 是 铅 直 的 , 并 且 正 同 朝 上 ). 


„==“ — enn, 


~4 -3 -2 ~i 0 1 2 з 4 


3 二 项 分 布 的 产生 


2. SMRT W CORRE, 假设 基本 事件 空间 有 如 下 构造 
Q = {ш : w 一 (а:,--. ‚ Qn ), Qs 一 bi,- , b,- } 


其 中 b, br 是 给 定 的 数 . 设 vi(w) 是 序列 w = (at ,an) 中 等 于 bili = 1, ,7) 
л ЛЖ, 而 基本 事件 的 w 概率 等 于 


p(w) — р}. (ә). рі“), 


其 中 p; > 0, pi +... +p = 1. 注意 ， 


т, Tir 

\ p(w) = ) | Cn fni, ,Nr )D1 серу ‚ 
„єй ni 20,++-<,п 20 
nit tnr =l 


к) 关系 式 f(n) ~ g(n) 表示 /(п) /9 (п) > 1(п — оо). 
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和 式 中 以 С» (пт, --- ,mr) 表示 有 序数 组 (a1,… ,an) 的 个 数 , 其 中 元 素 b 重复 mi 
Ж... 元 素 b ER n, К. 因为 , С 种 方法 将 nj 个 元 素 НЫЕ п 个 位 置 上 ， 
有 Ст ， 种 方法 将 n 个 元 素 bo 安排 在 п 一 ni 个 位 置 上 , 等 等 , 所 以 


Cn (ni1, +, Nr) = — Сл! С^ nl Са (а++.—+п—1) 
| — | | ИВ 
т хаст) па) хх ， 
nil(n — nı)! no!(n — ni — nzə)! Nile nyp! 
因此 
n! nı 1 
У pw) = У; ТО! СР = (Pi + рь)" = 1, 
шЕЙ пі 20,...,п- 20 
п +... +nr =i 
TE, 多 项 分 布 确实 是 概率 分 布 . 
设 
Аз... ‚Т — {ш : (ш) — ni, 1 , Ur (0 ) — Nnr}, 
则 
P(An п.) 一 Cn Nnr) pT pr”. (2) 


概率 组 {P(An, „,)} 称 做 多 项 分 布 

ЕЖ, 多 项 分 布 及 其 特例 一 一 二 项 分 布 的 产生 与 放 回 抽样 相 联系 

3. 多 元 超 几 何 分 布 ”出 现在 不 放 回 抽样 中 . 

作为 例子 , 假设 一 箱子 中 有 编号 为 1,2,… , M Мм 个 不 同 的 球 , 其 中 М, 个 
球 具 有 颜色 bi,- , М, 个 球 具 有 颜色 b, НМ, +-.. + М, =M. 现在 从 箱 中 进行 
n(n < М) 次 不 放 回 抽样 . 基本 事件 空间 为 | | 


О = {w: w = (а,-+-,ал),ак # ank Ва =1:.., М}, 


而 NQ) = (M). 假设 基本 事件 是 等 可 能 的 ， ш Въ. n. ВЕ: “n 个 球 具 有 
颜色 bl,… „п. 个 球 具 有 颜色 bp, Ни. +-- „ = п. 求 事件 Вл... п. 的 概率 . X 
易 证 明 ， 
N (Brna, np) — Cn (па, 775 п") (Му). 1 (М,.)„,, 

因此 
NB nr) _ См, 7 См, 

м) 7 бв (9) 

概率 组 {Р(В,,.. п.)} 称 做 多 元 超 几何 分 布 . 当 7 = 2 时 此 分 布 简称 为 超 几 何 
TA, НА ЛИТРА. 

多 元 超 几 何 分 布 的 构造 相当 复杂 . 因为 概率 


71 7.2 
С М Ом. 


Р(Вл,,. п.) = 


P(Bn һ,) = 一 ‚пт + по = п, Му + М5 = М (4) 
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包含 9 个 阶乘 数 . 易 见 , 如 果 当 М 一 со, М, > оо 时 , Н М,/М 一 p, ММ M2/M 一 
1 — p, Й 
| Р(В,, п.) э Con p (1 一 р)". (5) 

换 句 话说 , 在 上 述 条 件 下 , Лі 0557р. 这 直观 上 是 明显 的 , 因为 
当 M 和 М, (AR) 较 大 时 , 由 不 放 回 抽样 得 到 几乎 与 放 回 抽样 一 样 的 结果 . 

例 利用 公式 (4), 求 体育 抽 彩 中 猜 中 6 个 “幸运 ”号 码 , 其 实际 意义 如 下 . 

假设 有 编号 为 1, 2,… ,49 的 49 个 球 , 其 中 6 个 球 是 “幸运 的 ” (例如 ,6 MERR, 
Кя НРК). 随意 从 中 不 放 回 抽出 6 个 球 . 问 抽出 的 6 个 球 全 部 都 是 “幸运 的 ” 概 
率 如 何 ? 设 М = 49, М, = 6, п, = 6,по = 0, 则 我 们 感 兴趣 的 事件 为 


”Be,o = {6 个 球 都 是 “幸运 的 ")}， 
而 根据 公式 (4), 其 概率 为 


Р( Вв АУ 7.2 х 10-8. 


1 
=o 
4. 斯 特 林 公式 ” 随 п 的 增 大 , 阶乘 数 n! 增长 的 非常 快 . 例如 ， 


10! = 3 628 800, 
15! = 1 307 674 368 000, 


而 100! 包含 158 位 数字 . 因此 , 无 论 是 从 理论 上 还 是 实际 计算 的 角度 , 斯 特 林 公式 
п! = у пп (2) em ЕЗ ,0< 0, <1 


12% 

都 很 重要 . 数学 分 析 的 大 量 文献 中 , 都 有 斯 特 林 公式 证 明 ( 亦 可 参见 第 八 章 $8 练习 
# 1). 

5. 练习 题 

1. 证 明 (5) 式 的 命题 . 

2. 证 明 , 对 于 多 项 分 布 的 概率 , 在 满足 пр 一 1 < ki < (э+т—1)р(% = 1,2,..…. ,7) 
的 点 (ki1,… kr), 达到 最 大 值 . 

3. 一 维 伊 金 格 (Ezenger) 模型 . 有 п 个 质点 , 分 别 位 于 编号 1,2,… ,n 的 点 . R 
设 质点 分 为 两 种 类 型 : 类 型 I л, 个 质点 , ЖП п. 个 质点 , nj + na = п, ЖА. 
全 部 п 个 质点 的 n! 排列 是 等 可 能 的 . 

建立 相应 的 概率 模型 , 并 求 事件 


А, (m11, m12, M21, M22) = {11 = M11, #12 = M12, #21 = M21, V22 = m22} 


的 概率 , 其 中 niy 一 一 HE 了 型 质点 j 之 后 的 工 型 质点 i ШЙ (i,j = 1,2). 
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4. 利用 概率 和 组 合 的 方法 , 证 明 下 列 恒等式 : 


> Cn = 2", У (Cn) = Сз, 
k=0 k=0 

У E D С, = Cm- MNn+1, 

k=0 

У k(k-1)C}, = m(m —1)2™?, m > 2, 

k=0 

КСЕ = пСк-1, 


m 
С» = > СС, 

j=0 | 
(О(<т<л,0<Е< п, 对 于 7<0 和 ;7>1， Ж ОС] = 0). 


5. 假设 N 是 某 个 总 体 的 容量 , 要 求 在 对 总 体 的 全 部 元 素 没 有 简单 重复 计数 的 情 
ЯК, 以 “最 少 的 费用 ”估计 М. 例如 , 在 估计 某 个 国家 、 城 市 .…… 人 口 时 , 对 类 
似 的 问题 感 兴趣 . 

MERNE 1786 年 法 国人 口 为 N 时 , 曾经 提出 下 面 的 方法 . 

从 总 体 中 选择 若干 个 元 素 (例如 选择 м 个 元 素 ), 并 且 作 上 标记 . 然后 将 这 M 
Лл АЖ, 并 且 与 无 标记 的 元 素 “很 好 地 混合 ”. 然后 从 “混合 好 了 的 ”总 体 
中 再 抽取 п 个 元 素 , 以 Хх 表示 其 中 有 标记 的 元 素 个 数 . 

(1) 证 明 , 由 趣 几 何 分 布 的 公式 (4), 相应 的 概率 PNw Mn{fX = т} 可 以 表示 为 : 


PN,Mn{X = т} = 


(2) 假设 M,n М т AE, 对 N 求 上 面 概率 的 最 大 值 , 即 求 总 体 的 “最 大 似 然 ” 
容量 у, 使 (对 于 给 定 的 M,n) 有 标记 的 元 素 的 个 数 Х 等 于 m. 
(3) EH, 总 体 容量 的 最 大 似 然 估 计 值 ( 记 作 №), 由 公式 表示 


N = [Mnm-1]), 


其 中 [ .1 表示 整数 部 分 . 

这 样 得 到 的 估计 量 №, 称 做 N 的 最 大 似 然 估计 量 . (在 67 练习 题 4 将 继续 讨论 
该 问题 ). 

6. (对 照 81 练习 题 2.) EE N 个 元 素 , 而 d(N) 表示 具有 如 下 性 质 的 不 同 分 
割 的 个 数 : 分 割 的 每 一 个 子 集 有 奇数 个 元 素 . 证 明 
=1, 4(3) = 2, 


—„ 


1 ) 
4(4) =5, 4(6)=12, d(T) = 37, 
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而 一 般 , 有 
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1. 事件 的 条 件 概率 ”事件 的 概率 的 概念 , 可 以 回答 下 面 一 类 问题 : 假如 箱 中 有 
М 个 球 , 其 中 Mi 个 白 球 和 М» 个 黑 球 ; 以 4 表示 事件 : 随意 抽出 一 个 球 是 白 球 . 问 
事件 4 的 概率 P(A) 如 何 ? 按 古 典型 概率 P(A) = M/M. 
下 面 引 进 的 条 件 概率 的 概念 , 可 以 回答 这 样 一 类 问题 : 在 第 一 次 抽 到 白 球 (事件 
А) 的 条 件 下 , 在 第 二 次 也 抽 到 白 球 (事件 Б) 的 概率 如 何 ? (这 里 讨论 的 是 不 放 回 抽 
ЕР). 
这 里 自然 应 该 这 样 讨论 : 假如 第 一 次 抽 到 的 球 是 白色 的 , 那么 第 二 次 抽 球 前 箱 
中 还 有 MM 一 1 个 球 , 其 中 Mi 一 1 个 白 球 , 另外 还 有 м, 个 黑 球 ; 直观 上 显然 . 我 们 感 
兴趣 的 (条 件 ) 概率 等 于 (М, —1)/(М – 1). 
现在 给 出 与 直观 概念 一 致 的 , 条 件 概 率 的 定义 . 
设 (9,.8,Р) Ж (有 限 ) 概率 空间 , 而 4 是 某 个 事件 ( 即 Ae). 
定义 1 设 P(4) >0. 称 
| Р(АВ) 
Р(А) 
为 在 事件 4 的 条 件 下 , 事件 B 的 条 件 概 率 ( 记 作 Р(В|А)). 
对 于 古典 方法 (81 的 第 4 小 节 ), 概率 定义 为 
МА) 
N(Q) 


N(AB) 
NQ) ’ 


P(A) = P(AB) = 


д №(АВ 
P(B|A) = =) (2) 


由 定义 1 直接 得 出 , 条 件 概 率 如 下 的 性 质 : 
Р(А|А) = 1， 
P(Ø|A) = 0, 
Р(В|А) =1 BDA, 
P(B; + В2|А) = Р(В: А) 十 Р(В»|А). 
由 这 些 性 质 可 见 , 对 于 固定 的 事件 А, 在 概率 空间 (ОПА, ПА) 上 的 条 件 概 
Ж P(-|4), 以 及 在 空间 (9,.8) 上 的 概率 P(.) 具有 同样 的 性 质 其 中 


ПА = {ВПА: ВЕ}. 
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Р(В|А)-+Р(В|А) =1, 


然而 , 一 般 


Р(В|А) + P(BIA) #1, 
Р(В|А)+Р(В|А) £1. 


例 1 ”考虑 有 两 个 孩子 的 家 庭 . 问 一 家 中 有 了 两 个 男孩 的 概率 如 何 ? 假设 
a) 岁数 较 大 的 是 男孩 

b) 至 少 有 一 个 是 男孩 

显然 , 基本 事件 空间 为 (b — Нк 女孩 ) 


О = {bb, bg, gb, gg}, 


其 中 bg 表示 “岁数 较 大 的 是 男孩 , 岁数 较 小 的 是 女孩 ”, 等 等 . 


假设 4 个 基本 事件 都 是 等 可 能 的 . 那么 ， 
P(bb) = P(bg) = P(gb) = P(gg) =. 

设 事件 4“ 年 长 的 是 男孩 * B' 年 幼 的 是 男孩 "因此 , AUB 表示 事件 “至 少 一 
个 是 男孩 ” 而 АПВ 表示 事件 “两 个 全 都 是 男孩 我 们 感 兴趣 的 问题 是 条 件 概率 
а) P(AB|A), b) P(AB|A\J B): 

Р(АВ) 1/4 1 
P(A) 1/2 2’ 
Р(АВ) _ 1/4 1 


P(AlJB) 3/4 3 


Р(АВ|А) = 


Р(АВ|А{ В) = 


2. ЛУЗЕ АУК 另 一 个 简单 而 重要 的 公式 (3), 称 做 全 概率 公式 , 是 
利用 条 件 概率 计算 复合 事件 的 基本 工具 . 

考虑 基本 事件 空间 О 的 菜 个 分 割 多 = {41,… ,An}, Н P(4i;) > 0( = 1, 
2,.… ,n). (这 样 的 分 割 又 称 做 不 相 容 事件 的 完全 事件 组 .) 显然 ， 


B = BA +...+ВА,, 


因此 | 
P(B) = У Р(ВА;), 


== 1 


其 中 
Р(ВА,) = Р(В|А,)Р(А,). 
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从 而 , 有 全 概率 公式 
P(B) = 2_P(BIA)P(A). (3) 


特别 , ШЖ 0 < P(4) < 1, Ж 
_ P(B) =Р(ВА)Р(А) + P(BIA)P(A). | (4) 


例 2 箱 中 有 М 个 球 , 其 中 mm 个 是 “幸运 的 ”. 现在 不 放 回 地 从 中 先后 抽取 两 
个 球 , 求 后 抽 到 的 球 是 “幸运 的 ”概率 . 假设 所 有 结局 是 等 可 能 的 , 而 且 关 于 先 抽 到 
的 第 一 个 球 的 情况 未 知 . 设 事件 А = { 先 抽 到 的 球 是 “幸运 的 *}, В = { 后 抽 到 的 球 
是 “幸运 的 "}. ЖА, 


тт 一 十) 
(ви) = 548) = ММ) т 
М 
‚М – т) 
-ү_ Р(АВ) _ М(М – 1) _ т 
РА) = PA M-m М-Г 
M 


从 而 , 由 全 概率 公式 , 有 


Р(В) = Р(В|А)Р(А) + Р(В|А)Р(А) 
| ттт, т x -m т 
= M-1 M М-1 Мм M 


有 趣 的 是 概率 P(4) 也 等 于 т/м. 这 样 , 尽管 不 知道 先 抽出 的 球 的 情况 , 但 是 
后 抽出 的 是 “幸运 球 ” 的 概率 并 没有 改变 . — 
由 条 件 概率 的 定义 知 , 当 P(A) > 0 时 , 有 


Р(АВ) = Р(В|А)Р(А). (5) 


该 式 称 做 线 法 公式 . 用 数学 归纳 法 可 以 将 其 推广 : 假设 事件 组 А,,..., А, 满足 条 件 : 
Р(А,...А„) > 0, 则 


Р(А!...А„) = Р(А,)Р(А2|А!) --- P(Anl Аи... Ал), (6) 


其 中 АА: А, = АП АП... А. 
з. 贝 时 斯 公式 ИНАЯ B 的 概率 大 于 0: P(A) > 0,Р(В) > 0, 则 与 (5) 
式 同样 , 有 | 
Р(АВ) = Р(А|В)Р(В). (7) 
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由 (5) 和 (7) 式 得 所 谓 贝 时 斯 (Bayes) 公式 : 


Р(А)Р(В|А) 


Р(А|В) = од 


假如 事件 组 4A1,… ,4" ЖО 的 一 个 分 割 , 则 由 (3) 和 (8) RA 
У Р(А)Р(В!А;) 


1—1 


Р(А В) = 


称 做 贝 叶 斯 定理 . 

在 统计 应 用 中 , 事件 А,,..., А, 组 成 事件 组 (А, +---+ А, = О), 常 称 做 “ 假 
设 ” 或 假说 ”, 而 P(A) 称 做 假设 А, 的 验 前 概率 *). НЯ Р(А В) 称 做 假设 
А; 在 事件 B 出 现 后 的 验 后 概率 . 

例 3 假设 匣 中 有 两 枚 硬币 : А, 对 称 的 硬币 ,“ 正 面 ”Z 出 现 的 概率 等 于 
1/2, 而 4， 不 对 称 的 便 币 “正面 ”Z 出 现 的 概率 等 于 1/3. 随意 选 出 一 枚 硬币 
УЖЕ, 结果 卷 出 正面 . 问 抽 到 硬币 为 对 称 硬币 的 概率 如 何 ? 

建立 相应 的 概率 模型 . 这 里 自然 取 和 集合 О = {412, AF, AZ, AF}, 可 以 描绘 选 
KARRA, 其 中 412 表示 “选中 硬币 ”A1, 结果 掷 出 正面 Z, 等 等 , 而 下 表示 
В 6 Н Б 81. 根据 条 件 , 所 考虑 结局 的 概率 应 该 是 : 


P(A1) = Р(4з) = 5 


和 
P(2|A1) = 5, Р(ДАз) = 2. 
这 些 条 件 唯一 决定 各 结局 的 概率 : 
P(4;Z) = =, P(AIF) — ,P(A22) -= =, (АЕ) — 5, 
那么 , 根据 贝 叶 斯 公式 , 所 求 的 概率 为 
Р(А,)Р(2|А,) 3 


PMID = РАБА) + РАБА = 5 


从 而 
Р(А212) = =. 


验 后 . 


*) a priori ЮВ, a posteriori 
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4. 独立 性 ”在 这 一 小 节 将 引进 的 独立 性 的 概念 , 它 对 于 概率 论 在 一 定 意义 上 有 
核心 作用 : 正 是 独立 性 的 概念 决定 了 概率 论 的 特色 , 使 它 从 研究 有 测度 的 可 测 空间 
的 一 般 理论 中 分 离 出 来 . 
对 于 两 个 事件 4 和 B, 如 果 事 件 4 的 出 现 , 对 事件 В 出 现 的 概率 不 产生 丝毫 
影响 , 自然 应 该 认为 事件 В 不 依赖 于 事件 А. 换 句 话说 , 称 “ 事 件 B 对 事件 4 独 
лу», 如 果 


Р(В|А) = P(B), (10) 
其 中 假设 P(4) > 0. 
Р(В\А) = ор. 
所 以 由 (10) 可 网 
P(AB) = P(A)P(B). (11) 
同样 , 设 P(B) > 0, ШЕЖЕ «Е 4 对 事件 В 独立 ”, 如 果 
Р(АВ) = P(A). 


由 此 仍然 得 到 关系 式 (11), 于 是 该 式 关 于 事件 4 和 B 是 对 称 的 , 并 且 当 事件 4 和 
В 的 概率 (一 个 或 两 个 ) 可 能 为 0 (11) 式 仍然 成 立 . 由 此 导出 独立 性 的 定义 . 
定义 2 REFF 4 和 В (关于 概率 Р) 为 独立 的 或 统计 独立 的 , 如 果 


Р(АВ) = P(A)P(B). 
在 概率 论 中 , 往往 不 但 需要 考虑 事件 (集合 ) 的 独立 性 , 而 且 需 要 研究 事件 (ЖЕ 
A) 组 的 独立 性 . 下 面 引进 相应 的 定义 . 
定义 3 称 9 子 集 系 的 代数 .有 如! ЯП A (关于 概率 P) 为 独立 的 或 统计 独立 的 ， 
如 果 对 于 相应 地 属于 6 M A 的 两 个 任意 于 集 А, 和 А 独立 . 
作为 例子 , 考虑 两 个 代数 : 


Æ = {А\,А,@,О} 和 „#2 = { A2, Аз, Ø, Q} 


其 中 А, 和 А; 分 别 是 A 和 A 中 的 集合 . 不 难 证 明 , 两 个 集合 代表 A 和 A, 
独立 当 且 仅 当 对 任意 事件 д, 和 A 独立 . 事实 上 , £, ЯП, 独立 说 明 , 16 个 事件 
ВА, 和 42, А, 和 Ao,… ОО 独立 . ММ А, 和 hs 独立 . 相反 , 车 А, МА, 独 
Y, 则 需要 证 明 其 余 15 个 事件 偶 也 独立 . 例如 , 现在 验证 А, 和 Я, 独立 . 有 
P(A1Az) = P(A1) - P(A142) = P(A1) — Р(А,)Р(А›) 
= Р(А,)[1 — P(42)] = P(A1)P(A2). 


同样 可 以 证 明 其 余 事 件 偶 独 立 . 
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5. 全 体 独 立 和 两 两 独立 ”两 个 集合 以 及 两 个 集合 代数 独立 的 概念 , 可 以 推广 到 
任意 有 限 个 集合 以 及 集合 代数 的 情形 . 

定义 4 ESA, An (关于 概率 P) 全 体 独 立 或 全 体 统计 独立 , 如 果 对 于 
EI к = 1,2,.-.:,пж1< < <. <ik <», 


Р(А;,, nn ‚ Аз.) — Р(А;,) к Р(А;,). (12) 


定义 5 RRE (关于 概率 P) 代数 A, Én 全 体 独 立 或 全 体 统 计 独 立 , 如 
果 相 应 地 属于 6i, ,.%B;, 的 任何 集合 41,… , An 独立 . 

需要 指出 ,由 事件 两 两 独立 , 一 般 它们 未 必 全 体 独 立 ， 事 实 上 , 例如 , Ж О = 
{w w, w wa} 且 所 有 基本 事件 都 等 可 能 , 则 事件 


А = {ил , w2}, В = {wi w3}, C = {w1, w4} 


AA, 但 А 
Р(АВС) = г 4 (5) = Р(А)Р(В)Р(С). 


还 需要 指出 , 对 于 某 些 事件 А,В,С, 由 
Р(АВС) = Р(А)Р(В)Р(С), 


一 般 并 不 能 得 出 这 些 事件 两 两 独立 . 事实 上 , 设 空间 О 由 有 序数 偶 组 成 : (i, 7), 其 中 
1,7 =1,2,...,6, 且 这 些 数 偶 都 等 可 能 . 那么 , 对 于 事件 


А = {(7):3= 1,2 8 5}, B= {(i,j):j=4,5 R 6}, C= {(,Ј):1+ј= 9}, 


则 
P(AB) = 1 #1 = P(A)P(B), 
Р(АС) = > 4 а. = Р(А)Р(С), 
Р(ВС) = 5 я 二 = Р(В)Р(С), 
然而 
Р(АВС) = =. = Р(А)Р(В)Р(С). 


6. 伯 努 利 概 型 хазинтанӣ. 详细 讨论 $2 中 引进 的 导出 二 项 分 布 的 
经 典 模型 (0,.%,P). 在 此 模型 中 ， 


О = {w : w = (a1, ‚ ав }, ai = 0,1}, 
ё ={А: АСЯ}, 
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而 Р({ш}) = p(w), 其 中 
р(ш) = p> (1 — р). = (13) 
考虑 事件 AC. 如 果 事 件 4 只 决定 于 а, 的 值 , 则 称 该 事件 依赖 于 大 时 的 试 
№. 事件 А, ЖА, 就 是 这 样 事件 的 例子 : 


Ак = {w : ap = 1}, Ав = {w : ак = 0}. 


考虑 代数 序列 : 2#,,... в, 其 中 Ap = {Ак, Ак, 2, 2), 并 证 明 对 于 (13) 的 情 
Ж, 这 些 代 数 独立 . 
显然 ， 


РА) = У рш= У PE pT 
{м:ак=1} {wiak =l} 


E а: (п-1)- У) а: п—1 ЕЮ 
=p $, р® а  =р» Сур" Ө = р, 
{а::15К } 1—1 


而 类 似 的 计算 , 可 得 P(A) = 4, НУ klit, 有 
Р(4,А;) = р?, Р(А„ А) = ра, Р(А,А) = 42. 


由 此 容易 证 明 , 代数 r МВ (Е 52 1) 独立 . 

类 似 地 可 以 证 明代 数 .#|,.#ь,... An M. 因此 可 以 把 所 讨论 的 模型 (О, 
P)， 称 做 适合 具有 两 种 结局 且 成 功 的 概率 为 р h п 次 独立 试验 的 模型 .， 伯 努 利 
(J. Bernoulli) 最 早 研究 了 该 模型 ， 并 且 对 这 种 模型 证 明了 大 数 定律 (85). 因此 , 该 
模型 又 称 做 (有 共有“ 成功” 与 “失败 ”两 种 结局 且 “ 成 功 ” 概率 为 р 的 ) 伯 努 利 概 型 . 

深入 研究 伯 努 利 概 型 的 概率 空间 表明 , 它 具 有 下 面 将 阐述 的 “概率 空间 直 积 ”的 
构造 . 

假设 有 "个 有 限 概 率 空间 (21,81, P1), (On, Bn, Pn). ARA w = (a1,…， 
an) 的 空间 QQ = 0, x Rx- x Nn, 其 中 aie 8. 记 


A=B ®.©›%®... 8B, 


ЖО 的 子 集 的 代数 , 由 形 如 4 = В. x В, x :… x В„(В; c . 罗 ,) 的 集合 构成 . 最 后 , 对 
于 w= (al ,Qn), Ẹ p(w) = pilai) Palan), HÆRS A = В, x Bax- х Bn 
的 概率 定义 为 : 
P(A) = у, pı(a1)  …pn(an). 
{а1ЕВ1,--- ,an EBn} 


个 难 验证 P(O) = 1, 因此 (9,.8,Р) 决定 某 个 概率 空间 , 称 做 概率 空间 


(Q1, B1, P1), е, (Qn, Bn, Р») 
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ВЈ й Яя. 
概率 空间 直 积 一 条 容易 验证 的 性 质 是 : 事件 


Ау = {0:01 Є Bih}, , An = {wW :an E Bn} 
关于 概率 了 独立 , 其 中 В, eB. 同样 , 空间 О 的 子 集 代 数 
ё 一 {А ‚Ау = {w аі Є Bı}, Ву Е BY, 


/Bn 一 {An : Án = {w : Qn Є Bn}, Bn € Ba}, 
由 上 面 引 进 的 构造 , 可 见 伯 努 利 概 型 : 
(О,.®%,Р),О ={fo:w=(ai ,0n),a; = 0,1}, 
В -{А: АСЯ} 和 Pw} = pE“ -pE 
АНЯ (Q1, 81, P1), o, (On, Bn, Pah) 的 直 积 得 到 , 其 中 
$; = {0,1}, B; = {10}, {1}, 2, 2;}, 
Р;({1}) =p, Р,({0}) =q. 
7. 练习 题 
1. 举例 说 明 等 式 
Р(В|А) + Р(ВА) = 1, 
Р(В|А)+Р(В|А)=1 
一 般 不 正确 . 
2. APA М R, 其 中 Mi 个 白 球 . 考虑 不 放 回 抽取 的 容量 为 ”的 样本 . 以 В, 
表示 事件 “第 ; 次 抽 到 的 是 白 球 ”, 以 А, 表示 事件 “在 容量 为 п 的 样本 中 恰好 天 个 
ARR”. 证 明 , 无 论 对 于 不 放 回 抽样 , 还 是 放 回 抽样 , 都 有 


PBA = К 
3. 对 于 独立 事件 А], n. ‚Ап, 证 明 
P (Ù А) =1- ] | РС»). 
k=1 k=1 
4. 对 于 独立 事件 A1,… An, 其 中 Р(А;) = р. 证 明 这 些 事件 一 个 都 不 出 现 的 


E | 
ро = Ца — pi). 
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5. 设 4 和 万 是 独立 事件 . 通过 P(A) Я P(B) 表示 下 列 事件 的 概率 :在 4 和 五 
之 中 , 恰好 出 现 上 个 事件 , 至 少 出 现 个 事件 , 以 及 最 多 出 现 k 个 事件 . 

6. 设 事件 4 与 它 自己 独立 , Ш А 与 4 独立 , ШЕВ P(A) 等 于 0 或 1. 

7. 设 事 件 4 概率 PA 等 于 0 或 1, 证明 А 与 任何 事件 В 独立 . 

8. 考虑 图 4 的 电路 图 . 在 А,В,С, Р ЯП Е ® 


5 个 继电器 中 , 各 继电器 独立 的 工作 , 每 个 以 概率 4 А 
p 和 gq 分 别 有 “ 断 ”( 无 信号 通过 ) 和 “ 通 ”( 有 信 | 
号 通过 ) 两 种 状态 . 问 “在 入 口 发 送 的 信号 , 出口 7 Е > 


可 以 收 到 * 信号 的 概率 如 何 ? 在 “处 于 В, 的 “| 5 
状态 下 , 出 口 可 以 收 到 ”信号 的 概率 如 何 ? 
9. Р(А + В) > 0, 证 明 
图 4 
P(A) 


10. 设 事件 4 对 事件 Bn(n > 1) 独立 , ЯН В, (В, = @, 5]. 证 明 事件 


„ов Üs, 
独立 . | 
11. W, 如 果 Р(А|С) > Р(В|С) ЯП Р(А[С) > P(BIG), М P(A) > P(B). 
12. 证 明 

Р(А|В) = Р(А|ВС)Р(С|В) + Р(А|ВС)Р(С|В). 
13. Ж X МУ 独立 , 服从 参数 为 n 和 р 的 二 项 分 布 , 证 明 
СЕСт- № 
‚ Ст 
14. # А,В,С 是 两 两 独立 的 等 概率 事件 , Н ANBNANC = о. 求 概率 P(A) 的 
最 大 值 


15. 在 箱 中 原来 有 一 个 白 球 , 以 相同 的 概率 将 一 个 白 球 或 黑 球 放 入 箱 中 . 然后 随 
意 取 出 一 个 球 , FREAR. 问 箱 中 剩 下 的 球 也 是 白 球 的 概率 如 何 ? 


P{X =АХ+У=т}! = ‚ К =0,1,-.. ,min(m,n). 


84. 随机 变量 及 其 特征 


1. 随机 变量 及 其 概率 分 布 和 分 布 函 数 设 (Q,.%,P) 是 某 具 有 有 限 个 结局 试 
验 的 概率 模型 ，V(9) 是 О 中 基本 事件 的 个 数 , 而 .如 是 Q 中 所 有 子 集 的 代数 ， 能 
ВН, 以 上 讨论 的 各 种 事件 4 e .%6 概率 的 计算 , 其 实 基本 事件 空间 的 自然 本 性 并 
个 重要 . 重要 的 只 是 某 种 数字 特征 , 其 值 依 赖 于 基本 事件 . 我 们 想 知 道 的 是 , 在 一 系 
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Я] п 次 试验 中 ,出现 一 定 次 数 成 功 的 概率 如 何 , 分 到 各 箱 中 质点 个 数 服 从 哪 种 概率 
分 布 , 等 等 . | 

现在 要 引进 的 随机 变量 的 概念 , 可 以 表征 在 随机 试验 中 “测量 ”结果 的 量 . Р, 
将 绸 引进 随机 变量 更 一 般 的 形式 . 

定义 1 称 任 一 定义 在 (AR) 基本 事件 空间 О 上 的 数值 函数 © = Elw) 为 随机 
变量 . (第 二 章 54, 引进 随机 变量 的 一 般 概念 之 后 , 就 可 以 清楚 知道 随机 变量 的 “ 简 
A” 术语 的 来 源 .) | 

例 1 ХТЕО, 其 基本 事件 空间 为 Q = {77,7Е,Е7,ЕЕ}, 其 
中 2 一 一 正面 ,下 一 一 反面. 我 们 利用 下 面 的 表格 定义 随机 变量 ¿= (0): 

E(w) 0 

这 里 , RERE X, Ew) 是 对 应 于 v 的 “正面 ” 出现 的 次 数 . 
随机 变量 上 的 另 一 简单 的 例子 是 某 集合 A cA 的 示 性 函数 ( 亦 称 特征 函数 ): 


$ = ТА(ш), 


其 中 


当 实 验 者 遇 到 描绘 某 些 记载 或 读数 的 随机 变量 时 , 则 他 关心 的 基本 问题 是 , 该 
随机 变量 取 各 个 数值 的 概率 如 何 . 从 这 种 观点 出 发 , 关心 的 不 是 概率 卫 在 (9.8) 上 
的 分 布 , 而 是 概率 在 随机 变量 之 可 能 值 的 集合 上 的 分 布 . 由 于 对 于 所 研究 的 情形 , О 
由 有 限 个 点 构成 , 则 随机 变量 上 HER X 也 是 有 限 的 . 设 X = {zx1,… Emh 其 中 
ту, ,Xm 是 的 全 部 可 能 值 . | 

EE AERX 上 一 切 子 集 的 全 体 , 并 设 Be 多. 4 х 是 随机 变量 Е 的 值 域 
时 , 集合 В 也 可 以 视 为 某 个 事件 . 

在 (X, L) 上 考虑 由 随机 变量 ERAR, 


P:(B) = P{w:é(w) є В}, BES 
产生 的 概率 Р, (.). 显然 , 这 些 概率 的 值 完 全 决定 于 : 
Pe(zi) =Р{ш:&(ш)=т}, 2; EX. 


组 数 {Р, (га), --- , РЕ(тт)} 称 做 随机 变量 上 的 概率 分 布 . 
”4 对 于 示 性 函数 га (о), 还 使 用 记号 КА), Га. 关于 以 后 常用 到 的 一 些 性 质 参 见 练习 题 1. 
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H2 设 随 机 变量 分别 以 概率 p 和 9g 取 1 和 0 两 个 值 , 其 中 р 称 做 “成 功 ” 

的 概率 , 而 а 称 做 “失败 ”的 概率 , ШЖК Е 为 伯 努 利 随 机 变量 *). 显然 , 对 于 随机 变量 
с, 有 

Р(х) = р? *, z=0,1. (1) 


Бс 是 以 概率 
Р (х) = Ср" °, T=0,1,.…,n (2) 

取 0,1,… ,n 等 n 十 1 个 可 能 值 , 则 称 E 为 二 项 随机 变量 , 或 称 E 为 服从 二 项 分 布 的 
随机 变量 . 

注意 , 在 这 些 及 以 后 举 的 许多 例子 中 , 我 们 不 具体 说 明基 本 概率 空间 (0,.4,Р) 
的 构造 , 而 只 关心 随机 变量 的 值 及 其 概率 分 布 . 

随机 变量 Е 的 构造 完全 由 概率 分 布 {P(xi), 1,2,… т) 描述 . 下 面 引 进 的 分 布 
函数 的 概念 , 提供 随机 变量 构造 的 等 价 描述 . 

定义 2 ИтЕВ.. 函数 


F(x) = P{w : E(w) < =} 


称 做 随机 变量 E 的 分 布 函数 ， 
显然 ， 
Fe(z) = Э pe (те) 
{ix <x} 
并 且 
Р«(т;) = Её(т:) 一 下 (Zi 一 )， 


其 中 
Ре(2—) = lim Fe(y). 


уйт 


如 打假 设 zl < zz2 <... < £m, M Feleo) = 0, W 
Pe (Ti;) = Feri) — Ёє(®{—1), $ = 1,... ‚11. 


下 面 的 图 5 是 二 项 随机 变量 上 的 Р(х) 和 Е. (г) 的 示意 图 . 
直接 由 定义 2 可 见 , 分 布 函数 具有 下 列 性 质 : 

(1) Ре(—оо) = 0, Fe(+00)= 1; 

(2) Felz) 右 连续 : ЕЕ (х+) = Felz), 并 且 是 阶梯 函数 . 


*) 在 概率 论 的 文献 里 , 所 说 的 “ 伯 努 利 "、“ 二 项 *、“ 泊 松 "、*“ 高 斯 " .……… 随机 变量 , 通常 称 做 
随机 变量 服从 伯 努 利 、 二 项 、 泊 松 、 高 斯 A. 
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图 5 


除 随 机 变量 之 外 , 还 常 研究 随机 向 量 Е = (&1,...,&), 其 各 分 量 都 是 随机 变量 . 
例如 , 在 研究 多 项 分 布 时 , 对 象 就 是 随机 向 量 v = (р, ,и,), 其 中 в, = vi(w) 是 序 
Ў] ш = (а1,--- ,an) PETF bili = 1,… ,7) 的 分 量 的 个 数 . 

对 于 zi € Xi(Xi(i = 1,… ,7) 是 & 的 一 切 可 能 值 的 集合 ), 概率 


Ре(23, see Er) = Р{и : E(w) = ZT1, ,Er(w) = £r} 
的 全 体 ， 称 做 随机 向 量 E — (1, · n Er) 的 概率 分 布 ， ПОР 
Fezi, , Tr) 一 Pf{w ' £1(w) < Tist’ (м) < ту} 


称 做 随机 向 量 上 = (&1,---,Е,) № В, 其 中 Є КЦ =1,... ,7). 
ХР БЕЗЕ ЈАЈЕ и = (1, vr), 


P (па, Nr) = Cn (n1, ‚п. )D1 1 ри" 


(№, 62 中 的 (2) IÅ). 
2. 独立 随机 变量 и На, ,6 在 RR! 中 (有 限 ) 集合 X 上 取 值 的 随机 
变量 . 记 .多 是 中 所 有 子 集 的 代数 . | | 
EX3 称 随 机 变量 后,…… ,é; 为 (全 体 ) 独立 的 , 如 果 对 于 任意 x1,…… ,x EX, 


Р{& = T1, =т,} = P{6 = r1} P{E = £r}, 

或 等 价 地 : 对 于 任意 В,,...,В, Е.Х, 
PtE Е Bise pér Є Br} = Р{& Е Bi} PAE, Е В„}. 

上 面 讨 论 的 伯 努 利 概 型 , 就 是 独立 随机 变量 的 一 个 最 简单 例子 . 具体 地 , 设 
N = {w: w = (а, ,ал),а = 0,1}, p(w) = p>“ (1 - р)", 
并 且 对 于 w = (ai an), (ш) = aili = 1, ,n). ЖА, 由 $3 的 证 明 , 事件 
Ау = {шта = 1} An = {wian = 1} 
A, 从 而 E1, ‚& MRA. 
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3. 随机 变量 之 和 的 概率 分 布 我们 以 后 不 止 一 次 地 遇 到 ， 作 为 随机 变量 
上 的 函数 的 随机 变量 f(&1,… ,6&) 的 概率 分 布 问题 . 现在 只 限于 考虑 求 随 
РЕ fo & + п 的 分 布 的 情形 . 

ШЖ с BERA X = {x1,… ,zk}, n 的 值 域 为 了 = {y и ШЕЕ 
的 值 域 为 Z = {2:2= r; +y i=l,- k, j = 1,... ,Ll}, 日 显然 


F(z)= Р{С = z} = Р4Е+т= 2} 
= у, P{E =, = yj}. 
{(2,7):2: +y; =z} 
随机 变量 & 和 7 独立 的 情形 特别 重要 , 即 P{E = 1,17 = yi} = Р{ё = 1; }Р{1 = 
Yj}. 这 时 , 对 于 任意 є 7 
К 
Pe(z) = ` Pe(xi) Pn (yy) = у, Ре(т:)Ру(2 — zi). (3) 
{(,3):2:+уз=2} i=l 
例如 , E ER 7 是 分 别 以 概率 pz 和 g 取 1 和 0 为 值 的 独立 伯 努 利 随 机 变量 , 则 
Z = {0,1,2}, Ш 


Р; (0) = Р:(0)Р,(0) = 22, 
Р, (1) = Р;(0)Р,(1) + Pe(1)P,(0) = 254, 
Р; (2) = Р;(1)Р,(1) = p°. 


用 归纳 法 容易 证 明 , 车 &1,… i 是 独立 伯 努 利 随机 变量 , В рб, = 1} = 
р,Р{& = 0} = а, 则 随机 变量 С = &1 +- + 服从 二 项 分 布 


РЕЕ) = СЕрк" к (k=0,1,...,n). (4) 


4. 数学 期 望 ”现在 研究 重要 概念 , 随机 变量 的 数学 期 望 或 均值 ， 
R (9,.8,Р) 是 (AR) 概率 空间 , 而 上 = iw) 是 某 一 随机 变量 ， 其 值 域 为 
Х = {21, n. ‚ЖЕ }. 如 果 设 А; = {ш : Elw) — Ti}, 则 显然 E 可 以 表示 为 


| | 
E(w) = 》 т (Аз, (5) 
¿=I 


其 中 集合 41,… ,44 构成 О 的 分 割 (ИП А,,..., А, 两 两 不 相 容 , НЕЖ О, М 81 
第 3 小 节 ). | 

记 pi = P{E = zi}. 直观 上 显然 , 如 果 在 ”次 独立 重复 试验 中 观测 随机 变量 £ 
的 取 值 , 则 取 г; 的 值 大 致 应 该 出 现 np;(i =1,... ,k) Ж. (最 好 将 这 一 段 话 与 大 数 定 
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律 的 论点 对 比 , 关于 大 数 定律 见 55 和 §12.) 因此 , 根据 п 次 试验 的 结果 , 计算 的 该 
随机 变量 的 “平均 值 ” 大 致 为 


~ (аруа ++ прктк] = Э 
这 一 事实 引出 下 面 的 定义 . 
定义 4 实数 
E$ = уара (6) 
称 做 随机 变量 
ЖЫ 
的 数学 期 望 或 平均 值 . 由 于 А, = {w : Ew) = ж}, 而 Pe(zi) = P(A), А 


k 
Её – У ziPe(zi)， (7) 
?一 上 
注意 到 分 布 函数 的 定义 fe = Fele), 并 记 
АЁ (тж) = Felz) — Её(т-), 
得 Pe(zi) = AFe(zi), 从 而 
k 
E£ = У r;AF;(z;). (8) 


2 一 上 


在 研究 数学 期 望 的 性 质 之 前 , 常 需要 随机 变量 ¢ 的 各 种 不 同 表达 形式 , 例如 
| | 
(о) = J z; ЦВ, 
j=1 
其 中 В, +...+ В, = 9, 但 是 一 般 在 z 之 中 可 能 有 相同 的 值 . 这 时 , 可 以 按 上 面 的 公 
式 计 算数 学 期 望 , 而 不 需要 首先 变换 成 所 有 的 z; 值 两 两 不 等 的 (5) Ж. 事实 上 


TP(B;)= zi Уу Р(В,) = х;Р(А;), 


{7:2 =т:} {1:2 =x} 
于 是 
l k 
j=1 і=1 
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5、 数 学 期 望 的 基本 性 质 现在 列举 数学 期 望 的 基本 性 质 : 

1) # £ 20, R] Её > 0. 

2) Е(аё + bn) = aE£ + bEn, 其 中 a,b 是 常数 . 

3) Æ E >т, 则 ЕЕ? Еп. 

4) |Eé| < Еј]. 

5) Же 和 7 独立 , 则 Efn = E£- En. 

6) (61)? < EE En? ( 柯 西 一 布 尼 亚 科 夫 斯 基 不 等 式 , 亦 称 柯 西 - 施 瓦 英 不 
FA, 或 施 瓦 英 不 等 式 ). 

7) Æ © (А), | ЕЁ = P(A). 

性 质 1) 和 ?7) 显然 . 为 证 明 性 质 2), 设 


E= КА), п= У Ву), 
则 
аё 十 bn 一 ау т (А, N Bi) + БУ ГА: Г\ В;) 


1,3 1,3 
= У (ах; + у) (А; N ВУ} 
2,3 
Е(аё + bn) = 2 lan + by; )Р(А; N B;) 
= -Yanpi Ai) + 2, by;P(B;) 


=а ева) +6 у yj;P(B;) = aEé + bEn. 
і J 


由 性 质 1) 和 2), 可 以 证 明 3). 因为 


|Е&| = 


> ziP(4i)| < У lzilP(Ai) = Е 


所 以 性 质 4) 显然 . 为 证 明 性 质 5), 只 需 注意 到 


Etn = E (упа ) (Zuren) = Е У ти, (АП В,) 


$, 


0P(4 N B;) 00P(4 )Р(В;) 


(хека) р> м). = Ес. Ел, 


J 
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其 中 在 证 明 过 程 中 用 到 : 对 于 独立 随机 变量 ¢ 和 n, 事件 
A; = {ш:&(ш) =} M В; = {w : nw) = уу} 
为 证 明 性 质 6), 注意 到 


l k 
2 = NOICA), т? =Y УКВ, 
i=1 j=1 


| К 
Е? = у т.Р(А:), En? =» уўР(В,). 
$=1 


1=1 
设 EE? > 0, En? > 0. W 
ё = n = ——. 
ә V En 
由 2171 < E +12, 可 见 28 < Её? + Ей? = 2. 因此 
Е <1, (Е)? < ЕЁ x Ел. 
假如 EE? =0, М 
从 而 0 с 的 可 能 值 , 并 且 
P{w:é(w) =0}=1. 


因此 , WR ЕЕ? 或 Er? 之 一 等 于 о, ЕЖЕ = 0. 于 是 柯 西 — 布 尼 亚 科 夫 斯 基 
不 等 式 仍然 成 立 . 
注 性 质 5) 明显 地 可 以 推广 到 任意 有 穷 个 随机 变量 : Ж ос, Еж, 则 


Ei -Er = Еб... Egr. 


这 里 可 以 仿照 n = 2 的 情形 证 明 , 亦 可 用 归纳 法 证 明 . 
例 3 м Е 是 但 努 利 随 机 变量 , 以 概率 p 和 4g 取 1 和 0 为 值 , 则 


E = 1 x P{£ = 1} +0 x Р{4ё = 0} = р. 


例 4 设 右 ,… ,是 n 个 伯 努 利 随机 变量 , 以 概率 Р{Е, = 1} = p A Pé = 
0} = g,p 十 gq=1 取 1 和 0 为 值 , 则 对 于 


On = &1 +... + En, 
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其 数学 期 望 为 
| ESn = пр. 


这 里 有 另 一 种 求法 . ЙЛ, 如 果 假设 61,.… сла аЗ Е, 则 ЕЗ, Ж 
变 . 在 此 条 件 下 , 根据 (4) Ж, 有 


P{Sn = k} = Срб" (k=0,1,... ‚ т). 


因此 ， 


п т п 
kn! 
Е5„ = У kP{Sn = к) = у ЕСЕр* "СЕ = у К п-к 


— _ (п — 1)! k—1 (n—1)—{k—1) 
PO Rm В 

л— 1 
__ (п — 1)! я я _ 
УЕ T = np 


其 实 , 用 前 一 种 方法 比 用 后 一 种 方法 得 到 结果 更 快 一 些 . | 
6. ВИЛ АЧ РАНЕЕ ВЕ (А,), Е А, = {ш: tlw) = xi}, 而 
р = ф(&(ш)) Ж Elw) 的 某 一 函数 . 如 果 В, = {w : ф(&(ш)) = уу}, М ( 设 Ig (ш) = 
I(B;)) 
plElw)) = У ув, (w), 


从 而 
Ey = У WP(Bi) = Уу yPo(yy). (9) 
7 j 


同样 显然 ( 设 Гл, (о) = 1(А,)) 
2(6 (4) = > фа Та. (ш). 
РЖ, ЖЖ е = p(é(w)) 的 数学 期 望 , 既 可 以 利用 (9) 式 , 也 可 以 利用 下 面 的 公式 
Ey(é(w)) = > еба) Pela). 
т. 方差 和 标准 差 随机 变量 的 方差 和 标准 差 , 表征 с 取 值 的 散布 程度 , 是 十 
分 重要 的 概念 . 


定义 5 称 
Dé = E(é – Бе)? 


为 随机 变量 的 方差 WE DE). Жо = VDE 为 标准 差 . 
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Е(& — Eé)? = Elé — EE + (EE?) = ЕЕ? — (EE)’, 


Dé = Её? — (Eé)?. 
显然 De > 0. 由 方差 的 定义 , 可 见 对 于 任意 常数 a,b, 
D(a + bê) = РЕ, 


特别 Da = 0, D(bE) = VDE. 
对 于 二 随机 变量 上 和 n, 


D(E + n) = Е[(& — E£) + (n – EN] 
= DE + 07 + 2E(¢ — Eé)(n — En). 
记 
соу(&, n) = Е(& — Е5)(п ~ En), 
称 做 随机 变量 ЯП) 的 协 方差 . 如 果 De >0,О > 0, ЖШ 


| __ соу(#,1]) 
246.7) = ер 


称 做 随机 变量 < Ши 的 相关 系数 . 不 难 证 明 ( 见 练习 题 7), 若 р(ё, п) = +1, 则 随机 
变量 с 和 п 线性 相关 : 
n = 05 + b, 


其 中 当 ое, п) = 1 ар 0; № р(Е, п) = —1 Жа < 0. 
立即 可 以 指出 , Æ EM n 独立 , 则 上 - БЕ 和 7 — En 独立 , 因此 根据 数学 期 望 的 


性 质 5), 有 
соу(&,7) = Е(& — E£) x Е(п — Ел) = 0. 


由 协 方 差 的 定义 , ВЈ №, 
D(E + n) = DE + Dn + 2соу(ё, n). (10) 
ШЖ Е 与 7 独立 , Meit 的 方差 等 于 方差 之 和 : 
D(E + n) = DE + Dn. (11) 


虽然 式 (11) 可 以 由 式 (10) 导出 的 , 然而 (11) АЛЕ “A n 独立 ” 较 弱 的 条 件 
下 仍然 成 立 . 具体 地 说 , 只 要 假设 “上 МУ 不 相关 ”, 即 假设 соу(&,л) = 0 就 可 以 了 . 
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注 由 上 和 7 不 相关 , 一 般 得 不 出 上 和 7 独立 . 看 下 面 的 例子 . 假设 随机 变量 
о 以 概率 1/3 分 别 取 0,7/2,7 为 值 , 则 Е = sina Ж n = cosa 不 相关 , 然而 上 和 7 


Р{ =1,=1}=0 # 1/9 =Р{& = 1}P{n = 1), 


ША ё 和 之 间 有 函数 关系 : +2 = 1. 
性 质 (10) 和 (11) 明显 可 以 推广 到 任意 个 随机 变量 &1,… ‚с, 的 情形 : 


D (> с) — Уу, DE: + 2 У cov(é&i,é&;). (12) 
=} 


i=] i>i 


特别 , AIEE i,- ,如 两 两 独立 (实际 上 , 只 需要 求 它 们 两 两 不 相关 ), 则 


D >; с) = У DE. (13) 


5 设 & 是 伯 努 利 随 机 变量 , 以 概率 p 和 9g 取 1 和 0 为 值 , 则 
Dé = Е(& ~ Её)? = E(t — р)? = (1 – р)2р + р24 = рд. 


由 此 可 见 , Я &\,... ‚2, 是 独立 同 分 布 的 伯 努 利 随机 变量 序列 , В 5, = Hetin, 
则 
0.5, = пра. (14) 


== 


8. 最 优 线性 估计 ”考虑 两 个 随机 变量 ¢ 和 7. 假设 只 对 随机 变量 Е 进行 观测 . 
如 果 随 机 变量 с 和 п 相关 , 则 可 以 预期 , 已 知 & 的 值 可 以 对 未 观测 随机 变量 ”的 值 ， 
作出 某 种 判断 . 

我 们 把 & 的 任何 一 个 函数 f = FE) 称 做 7 的 一 个 估计 重 . 称 估 计量 = 
为 在 均 方 意义 下 最 优 的 , ШЖ 


Bln — F(E)? = inf En — (6). 
现在 讨论 , 如 何在 线性 估计 AME = а + Е 类 中 求 最 优 估计 . 为 此 考虑 函数 
9(а,5) = Efn — (a + bẸ)}?. 
将 g(a,b) 分 别 对 a 和。 求 偏 导数 , 得 
200) = -2Е й – (а + bé)), 
Bg(a, b) 


о” = 28 — (а + 6) 
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令 所 得 偏 导 数 等 于 0, 可 以 求 出 入 均 方 线性 估计 : 入 = ar + Ье, 其 中 


ar = En— "ЕЕ, b*= ий, (15) 


即 
м0) = En+ “> Бе) (16) 
称 Eln -AHP 为 估计 值 的 均 方 误差 . 经 过 简单 的 计算 可 见 , 该 误差 等 于 


cov? 
A` = Б - р = Dr - CEP = Dn x [1 — р, т) (17) 


XIF, & ЯП 之 间 的 相关 系数 (绝对 值 ) 越 大 , 均 方 误差 的 估计 值 A* 就 越 小 . 特 
m, WR jE n= 1, W A* = 0 (与 练习 题 7 的 结果 比较 ). 如 果 随 机 变量 上 和 7 不 
相关 (ЕП р(Е,п) = 0), №) А*() = En. РЖ, 在 随机 变量 上 和 7 不 相关 的 情形 下 , 根 
Ли 的 估计 就 是 En (与 练习 题 4 的 结果 比较 ). 
9. 练习 题 
1. 验证 示 性 函数 ГА = Ilw) 的 下 列 性 质 : 
Is=0, In=1, [=1-14, 
ТАВ = 1А х Ів, Taus = 1д + {eg Тав, 
ТА\в = 1А(1— Ів), ТААВ = (Та — Ів)? = Га + Ig(mod2), 
Тв, = 1— | [1 =- 74.); Ір, = Па — la) Tes =} ГА, 
3—1 ¿=l $=1 


其 中 AAB 称 做 集合 4 与 B 的 对 称 差 : 4A 人 AB = (А\В)| )(В\А), 而 


Еу = А, Ез = ЈА, Е; -FA 
t=1 ї=1 ї=1 


2. 设 是 Ст, ~ ,En 独立 随机 变量 ， В. 


Emin 一 min{el， ” Ên}, Emax — max{é1; n. ‚б, }. 
证 明 : n n 
P{émin 2 2} =[[Р{& > £}, P{émax < т} = | | Р{& < 2). 
$=1 


1=1 
3. На... En 是 独立 伯 努 利 随 机 变量 , H 
Р{&; = 0} = 1 — АМА, 
Р{&; = 1} = АА, 
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其 中 A > 0, 入 > 0, ША 是 较 小 的 数 . 证 明 : 


Р{& +: +, =1} = У) А + О(А?), 


1=1 
Р{&\ +... +, > 1} = О(А?). 


4. 证 明 , 当 а = ЕЁ 时 E(t — а)? 达到 下 确 界 


оо со Е Д а), Bp КЕ соо Е (6 Д а) = De. 
5. 设 Р(х) 是 随机 变量 е 的 分 布 函数 , 而 те 是 Fel) 的 中 位 数 , 即 下 列 条 件 的 
КУ: 


Fe(Me—) < > < Е: (те). 
证 明 


„н EIE ~ a] = ЕЕ mel: 


б. 设 Pe(x) = Р{Е = z}, Fe(z) = P{E < z}, 证 明 : 
(1) ЖТ a > 0, -оо < b < œ, 有 


т — Б 
Passola) = Pe ( a ). 
т — 6 
Еб) = Е ( z ) 


(2) ЖЖ y > 0, W 


Ёз (у) = Fe(+VY) — Fel- vy) + РЕ(-у9). 
(3) 设 Et — max{¢, 0}, 则 


0, Ф т< 0, 
Fe+(Z) = $ Р (хт), Жат = 0, 
Е; (х), Ж т> 0. | 
т. 设 随机 变量 * 和 7 的 方差 Dé > 0, Dn > 0, 它们 的 相关 系数 为 p = р(ё, т). 
证 明 : 
(1) №] <1. 
(2) Æ jol = 1, 则 存在 常数 a M b, ро +, 并 且 当 p = 1 时 


n-En 5-Е 
vD 


(Ёа > 0), 4 p= —1 时 
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( 即 а < 0). 
8. 假设 对 于 随机 变量 上 A n, E£ = En = 0, DE = Dny = 1, ПЕ 和 7 的 相关 系数 
X р = р(&,т)). 证 明 : 
Emax{é’,m}<1+vVi-p. 


9. 利用 等 式 
Гв, = Ца — Ia) Е Е = ЈА, 
$=1 


$=1 


证 明 51 中 练习 题 5 的 公式 : 
Р(Во) =1- 51+ 52 – Sn. 


10. 设 &\,--- ‚&„ 是 独立 随机 变量 , pl = pl(6 Ee) 和 фо = ро(ёрл,::- в) 
分 别 是 (&1,… ,&к) 和 (Ekti En) 的 函数 , 证 明 ру 和 фо 独立 . 
11. 证 明 随 机 变量 Eis: ` бп АШ УУ, 当 且 仅 当 对 于 一 切 Titt бт, 


Fe, (215: O , Tn) — Fe, (x1) 7 Е; (Ха), 


Ж Ре... en (т, то) = Р{& S z1, ,én S Tn}. 
12. 证 明 随 机 变量 2 与 自己 独立 (с 与 & 独立 ), 当 且 仅 当 E = const. (#3). 
13. 问 随机 变量 Е 满足 何 条 件 时 , & 与 sing 独立 ? 
14. ВЕЖ 7 是 独立 随机 变量 , 日 #0. 通过 概率 Pel) 和 Ply) 表示 概率 : 


Р{&п < 2} 和 PIÈ <z. 


15. 设 随机 变量 Е, n, 满足 条 件 : | < 1, < 1,4 < 1, 证 明 贝 尔 (А. С. Bell) 
不 等 式 : 
EEC — Enc| < 1 – Её. 


(例如 , М, [136]) 

16. т} n УН k ЛЖ. 假设 每 个 球 落 入 各 箱 的 概率 都 等 于 1/m, Ж 
非 空 箱子 个 数 的 数学 期 望 . 
85. НЕ IL. 大 数 定律 

1. Аз 以 上 的 定义 “三 对 象 ” 


(О,.®,Р), ЕФ Q = {ш :w = (@1,--. ,аь), а = 0,1}, 
ё = {А: АСЯ}, P({w} = р (1 – р)" (= р(ш)), 


$5. НЯНЯ т. 大 数 定 律 “45. 


称 做 伯 努 利 概 型 ,全 称 为 “有 两 种 结局 的 n 次 独立 试验 的 概率 模型 "*， 在 这 一 节 和 
下 一 节 , 我 们 将 研究 (在 下 面 所 指 的 意义 下 ) 伯 努 利 概 型 的 某 些 性 质 . 用 与 之 相 联系 
的 、 随 机 变量 和 事件 概率 的 术语 , 引进 这 些 性 质 较为 适宜 . 

引进 随机 变量 &,,... в, Ж Е, = Elw) = в, =1 „п, П w = (al ,Qn). 
已 经 热 知 , 伯 努 利 随机 变量 上 = Elw) = а; = 1,… n 独立 而 且 同 分 布 : 


Р{& =1} =р,Р{& =0} =1-р=4а, i=1, „п. 
随机 变量 ©, 表示 在 第 i (RZ 1) 的 试验 结果 . 
设 So(w) = 0, 
Sk =E +: +4, k=l, n. 
我 们 已 经 (在 54 例 4) 证 明 , ЕЗ, = пр, 从 而 


Sn 


即 “ 成 功 ” 频 率 San 的 平均 值 等 于 成 功 的 概率 р. 由 此 自然 产生 一 个 问题 : “成 功 ” 
频率 S/n 对 成 功 概率 р 的 (绝对 ) 偏差 的 大 小 如 何 ? 

我 们 首先 指出 , 对 于 充分 小 的 。 > 0 和 甚至 很 大 的 п, 也 不 能 指望 对 于 任意 w, 
频率 Sn/n 对 成 功 概率 р 的 (绝对 ) 偏差 都 小 于 e, 即 不 能 指望 对 于 任意 w, 不 等 式 


WO се шЕ $) (2) 


都 成 立 . 
事实 上 , 对 于 0<p< 1, 由 


ра = = En = 1р = р", 
p {$e =o} = {в =0,-. ,én =0} =", 


可 见 , 对 于 充分 小 的 є > 0 不 等 式 (2) 并 不 成 立 . 
不 过 , 我 们 指出 当 ”很 大 时 , 事件 


的 概率 都 较 小 . 因此 , 自然 想到 , М n 充分 大 时 使 


成 立 的 “结局 w 的 全 体 ” 的 概率 也 较 小 . 因此 , 设法 估计 事件 
е) 


的 概率 . 为 此 我 们 运用 如 下 切 比 雪夫 不 等 式 .名 
Е (П. Л. Чебышёв) ЖА; я (0,.—,Р) 是 某 一 概率 空间 , E = Elw) 
是 非 负 随机 变量 , 那么 , 对 任意 s > 0, 


P{é > e} < Ё (3) 
证 明 注意 到 
E = EI 2 =) +I (E <=) 2 EI(E 2 Е) 2 el(é > є), 


其 中 ЦА) 是 集合 А 的 示 性 函数 . 
于 是 , 根据 数学 期 望 的 性 质 


BE > ЕЦЕ > є) = eP{é > =}, 


从 而 (3) 式 得 证 . 口 
Ж 设 上 是 任意 随机 变量 , 则 对 任意 = > 0， | 


Р{|& > =} < Pel 

Ре > €} = P(E > e?) < EE, (4) 
РЕВ} < 26 

利用 最 后 一 个 不 等 式 , 设 5 = 5, /п, 则 由 84 (14) R, 有 


Dp (7) 
On «Ае п/ 0%, _ пра _ 24 
n б =? n?e? n?e? ne? 


TÆ 


(6) аа » 


ne2 © Ane?’ 
由 此 可 见 , 4 n 充分 大 时 ,成功 ”频率 San 对 “成 功 ” 概 率 p 的 (绝对 ) 偏差 大 于 
= 的 概率 充分 小 . 
对 于 一 切 n 和 1<k<n, 记 


Pn(k) — Ch ptg F, 


则 


р Е -nl > e} | 2 ии 


Фп. л. Чебышав 是 俄罗斯 数学 家 ， 按 俄语 语音 应 译 为 “ 切 贝 绍 夫 ，( 见 《俄语 姓名 译名 手 
册 》， 商务 印 书 馆 1982:《 新 俄 汉 数 学 词汇 》， 科 学 出 版 社 ，1988)， 英语 文献 一 般 译 为 P. L. 
Chebyshev. 我 国有 的 文献 按 英语 译音 , 译 为 “ 切 比 雪夫 ”或 “ 契 比 雪夫 ”, — 译 者 
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实际 上 证 明了 (5) 式 : 


pq 1 
{6:12 -р[2е} 


即 我 们 用 概率 的 方法 证 明了 不 等 式 (5). 注意 , 假如 不 用 概率 的 方法 , 而 用 分 析 的 方 
法 , 也 可 以 证 明 此 不 等 式 . 
由 (6) 可 见 


P, (Е) > 0(n > оо). (т) 
{6:15 -р|>є} 
该 命题 可 以 用 图 形 作 如 下 解释 . 图 6 是 二 项 分 布 {Pa(k), 0 <k < п}(р = 1/2) 
的 示意 图 . 


а 
vjz 


0 1 пр п 


一 -一 一 


пр-пЕ np—ne 
图 6 (mi = пр – пе, т2 = пр + ne) 


由 图 6 可 见 : 概率 P,(k) E k = np 处 达到 最 大 值 P。, 其 中 


图 6 显示 : 若 将 概率 P,(k) ХКК, 则 对 于 np 一 ne < Е < пр + пе, 概率 接近 1. 

我 们 把 一 系列 随机 变量 So, 51,...,5, 视 为 某 游 动 的 质点 的 轨道 那么 , 对 (т) 
式 可 以 作 如 下 解释 . | 

过 原点 引 3 条 直线 : k(p 一 є), Кр, к(р + =). ЯА, 质点 轨道 总 的 趋势 是 沿 直 线 运 
动 . 对 于 任意 = > 0, 可 以 断定 , 对 于 充分 大 的 п, 表示 质 所 在 时 刻 п 位 置 的 点 Sn 位 
于 区 间 п(р- =), п(р+=)] 上 ( 见 图 7). 

命题 (7) 可 以 表示 为 : 

p>e) +0 п — со. (8) 


р 
不 过 需要 指出 , 这 里 存在 一 定 的 细节 , 问题 在 于 , 假如 概率 Р ERER (0,.©) 
E, 空间 (Q, A) 上 定义 了 独立 无 穷 伯 努 利 随 机 变量 序列 Е, ,Е.,..., 则 上 面 的 写法 是 
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S, | Е(Р+Е) 

| 
S, 
|" р 

| | щр-—є) 
| 

| 227 | 

0 1 2 3 п А 


完全 正确 的 : 确实 可 以 建立 这 样 的 对 象 , 从 而 给 (8) 式 赋予 严格 的 概率 意义 ( 见 第 二 
章 89 定理 1 系 1). 现在 , 如 果 希 望 赋予 (7) 式 分 析 命题 的 含义 , 则 用 初等 概率 的 语 
言 , 可 以 说 明 下 述 事实 ， | 
设 (9M, A P), n > 1, 是 伯 努 利 概 型 序列 : 
От) = а) :wm — (а, ... ‚ап, а = 0,1}, 
A — {А: АСЯ}, 
POW) = р g Ea, 


而 
S (W) = (EP DD), EOW 


其 中 , 对 于 n> 1,090,000 是 独立 同 分 布 伯 努 利 随机 变量 序列 . 那么 


р 2 


Fn (К) —0, (лә оо). (9) 


р@) foe | PW) 
n 


(6102) 


式 (7) ~ (9) 的 命题 称 做 
“ 伯 努 利 大 数 定律 ” 

应 该 指出 , J. 伯 努 利 证 明 的 恰好 是 命题 (т). 其 证 明 非 常 严格 , 利用 了 二 项 分 布 
“尾部 ”概率 的 估计 , 即 对 于 满足 |k/n pl > e 的 大 估计 概率 Palk) 对 于 充分 大 的 
n, 二 项 分 布 “ 尾 部 ”概率 

Р, (К) 
{®:|#—р|>є} | 
的 直接 计算 问题 相当 繁杂 , 况且 所 得 “频率 5, /» 对 概率 р 绝对 偏差 小 于 с" 的 概率 
估计 式 很 难 实际 应 用 . 因此 , 对 于 任意 р, 棣 莫 弗 和 拉 普 拉 斯 所 创造 的 概率 Р. (К) 的 
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渐 近 公式 特别 重要 , 不 仅 重 新 证 明了 大 数 定律 , 而 且 得 到 了 更 精确 的 所 谓 局 部 及 积分 
极限 定理 . 该 定理 的 实质 在 于 , 对 于 充分 大 п 的 和 至 少 满足 天 ~ np МЕ A 


Р pq 
"(~ тира" 
而 
Е \/т/ра 22 
Palk) 后 | е Tdr. 
[| Е-р|<=} Ут = \/п/ра 


2. 大 数 定 律 的 意义 ”下 一 节 将 给 出 上 述 结果 的 确切 表述 和 证 明 . 现在 , 我 们 讨 
论 大 数 定律 的 现实 意义 , 及 其 经 验 解释 . 

假设 进行 大 量 , 例如 NN 系列 试验 , 而 每 一 系列 试验 包括 “n 次 独立 试验 , 而 每 次 
试验 以 概率 р 出 现 某 事 件 С”. 设 51 /п 是 事件 C 在 第 i 系列 试验 中 出 现 的 频率 , N. 
是 “频率 对 概率 的 绝对 偏差 不 大 于 e” 系 列 数 , 即 


Sa -pl <=: 4% 


那么 , 由 大 数 定律 可 见 


~ Ру, (10) 
其 中 | 


P=P 15 5 < e} . 
这 里 , 重要 的 是 强调 , 将 (10) 式 精 确 化 的 党 试 无 疑 将 必须 利用 某 一 概率 测度 , @ 
估计 频率 5, /п 对 概率 р 的 偏差 一 样 , 这 种 估计 只 有 在 引进 概率 测度 P 后 才 有 可 能 . 
З. 观测 次 数 ” 考 候 上 面 得 到 的 估计 


— р 


51 1 
Р 41° -p>er= УГ PR(k) < ——. (11) 
| n | | {к о>} 4пе? 
为 回答 下 面 数理 统计 的 典型 问题 : 对 任意 0 < p < 1, 保证 不 等 式 
[Е е} 21-а (12) 


成 立 的 最 小 观测 次 数 ”如 何 ? 其 中 a 是 给 定 的 通常 较 小 的 数 . 
由 (11) 式 可 见 , 满足 (12) 式 的 最 小 观测 次 数 , 是 满足 


1 
n 之 Iza (13) 


的 最 小 整数 n. 
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例如 , FER a = 0.05,= = 0.02, 则 观测 次 数 为 12 500 就 可 以 满足 (12) A, 而 且 


不 依 束 于 参数 р. 
我 们 在 下 面 (56, 第 5 小 节 ) 将 看 到 , 观测 次 数 可 以 大 为 减 小 , 因为 切 比 雪夫 不 
等 式 作为 概率 
e$) 
的 上 侧 估 计 太 粗略 . 
4. % в 


Спе) = {ш <=. 


由 大 数 定律 可 见 , 对 于 任何 Е > 0, Мп 充分 大 时 , 集合 Cin, с) 的 概率 接近 1. 这 时 ， 
С(п,=) 中 的 轨道 (EW) w 目 然 称 做 典型 的 [或 C(n,e) 一 典型 的 |. 
提出 下 面 的 问题 : 典型 实现 的 条 数 N(C(n,e)) 以 及 每 一 条 典型 实现 的 权 p(w) 如 


何 ? 
为 此 , 首先 注意 到 , 基本 事件 空间 О 中 点 的 总 数 N(0) = 27, 而 对 于 p = 0 8 1, 
典型 轨道 只 有 一 条 : (1,1,...,1) 或 (0,0,… ,0), В C(n,e) = 1. 但 是 , 假如 p = 1/2, 
则 直观 上 显然 ,“ 几 平一 切 ” 轨道 [只 有 (1,1,… ,1) 或 (0,0,… ,0) 除外 ] 都 是 典型 的 ， 
因而 轨道 的 条 数 接近 2". 
结果 表明 , 对 于 0 < p < 1, 所 提出 问题 有 完全 确定 的 答案 : 无 论 是 典型 轨道 数 ， 
还 是 权重 p(w), 都 决定 于 p 的 某 一 专门 函数 —— Й”. 
为 更 深入 地 揭示 相应 结果 的 内 容 , 我 们 考虑 82 第 2 小 节 中 比 伯 努 利 概 型 更 加 
一 般 的 概 型 
设 (p1,p2,… ,pr) 是 一 有 限 概率 分 布 , 即 满足 条 件 ру фро +: кр. = 1 的 非 负 
Н = —У piln Р; (14) 


为 概率 分 布 (рі, p2,* · · , Dr ) HJ IA, 其 中 [п Ж НХХ, Н. 0110 = 0. 显然 ， H 之 0, 
ПН H =0 ERKE ру, ро,... ,pr 中 除 某 一 个 为 1 之 外 都 等 于 0. 函数 f(x) = 
-TInz(0<z<1) 是 (同上) ИЖ. A, HARAKA, 有 

f(T1) +++ f(x) (22). 


r r 


从 而 
Н = -pmp < -гх и х ln (>) = lnr. 
换 句 话说, 当 pi = pz =- = pr = 1/7 时 , ЖІК НАКН (Р r= 2, 函数 


Н = Н(р) 的 图 形 见 图 8). 


65. 伯 努 利 概 型 I. 大 数 定律 sl. 


如 果 把 pipz ,pr 看 成 某 些 事件 , 如 41, 4.,...,А, 
出 现 的 概率 ， 则 完全 清楚 : 出 现 某 个 事件 “不 确定 性 的 
程度 "”， 对 于 不 同 的 分 布 是 不 同 的 .例如 ,Pi = 1,рә 
=. = р, =0, 则 该 分 布 不 具有 任何 不 确定 性 : 可 以 
满怀 信心 地 说 , 试验 结果 必然 出 现 事 件 А. 不 过 , 如果 
р = p2 =. = р, = 1/г, 则 这 样 的 分 布 具 有 最 大 的 不 确 - 
ЖЕТЕ, 因为 甚至 不 能 说 哪个 事件 出 现 的 可 能 性 更 大 些 . 图 8 函数 Hip) 

为 比较 不 同 分 布 的 不 确定 性 , 需要 有 不 同 分 布 的 不 确 
定性 之 度量 的 数字 特征 . № Н 正 是 不 确定 性 度量 的 恰当 的 数字 特征 . 由 下 面 的 讨论 
可 见 , 焙 在 统计 力学 、 编 码 理论 和 有 通讯 理论 中 起 着 重要 作用 ， 

假设 


Q 一 {ш ‚ш = (аз, ân) а; 一 1,--. т} 
是 基本 事件 空间 , 其 中 p(w) = р"... р’, НЫ mlw) 是 序列 w 中 第 i 个 元 素 а, 
的 个 数 , 而 (р1,-..,р,) 是 某 一 概率 分 布 . 
对 于 任意 s > 0, 设 
С(п, =) = о 


viw) 


— р; 


显然 ， 


< E22=1,... 中 
$=1 


2 e} , 
ЖН, 由 于 大 数 定 律 知 , 该 式 也 适用 于 随机 变量 


1, Ë ak =i, 
Ww | = к =1,..., , 
=) в Ж ак £ $, " 
>e) 


pl 
充分 地 小 . 因此 对 于 充分 大 的 n, Cine) 的 概率 接近 1. Нт=2 的 情形 一 样 , 进入 


C(n,e) 的 轨道 称 为 典型 的 . 
如 果 所 有 pi > 0(i = 1,… г), 则 对 于 任何 wen, 权重 


мо) = ер а ; Hle) ү, | 
> az] 
因此 , ШЖ w 是 典型 轨道 , 则 由 (14) 式 , 有 


EE 


$=1 


ии 
иб) 
п 


Р(С(п,=)) > 1— УР) 


概率 


< уи) y 
“ых n 1 


i=1 1 


x ар: < —є Ур. 


=] 
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由 此 可 见 , 典型 轨 起 的 概率 接近 е", 因为 由 于 大 数 定律 当 n 充分 大 时 , 典型 轨道 
的 条 数 “ 几 乎 ”穷尽 Q 中 的 所 有 点 , 而 О 中 轨道 的 条 数 应 该 为 量 级 e., 将 以 上 的 
讨论 归纳 为 下 面 的 定理 . | 

定理 (麦克 米兰 [B. McMillan]) р>0(=1.... ,7r),0 <e<1, 则 存在 一 
自然 数 по = no(e; р, e ,Pr), 使 对 于 一 切 п> то: 

а) er(H-e) < МС(п, =1)) < er(H+e), 

b) е-"(+=) < p(w) <е-"Н-®), w € С(п, ei), 

с) Р(С(л, e1)) = рә р(ш) > (п 一 оо), 


其 中 | 


А —1 
Е1 = min Ё (ы) | . 
k=i 


证 明 命题 с) 由 大 数 定律 得 出 . 对 于 其 余 命 顾 注 意 到 , ШИ we C(n,e1), 则 


пре — EIN < IO) < Npk + єп (k=1,... ,7), 
因此 
р(ш) = ехр |- У и, In pk} < ехр f -n Ур ln pk 一 вт У npr} 
= 
<екр{-п(н- 5). 
类 似 地 , 有 
р(ш) > ехр{—п (Н + 5) 
从 而 , 命题 b) 得 证 . 
最 后 , 由 于 
Р(С(п,=1)) > М(С(п,=!)) х „епт, РО), 
则 
P(C(n, e1)) 1 n =}. 
Оа) < < 
类 似 地 , 有 
Р(С(л, e1)) п(Н-= 
N(C(n,e1)) 之 „шах рф) > Р(С(п, ei))e (Н . 


由 于 Р(С(п,=1)) > 1(п 一 оо), 可 见 存在 пу, 使 对 于 n > n, 有 Р(С(п,ғ)) > 
1 =, 故 


М№С(п, є1)) 2 (1-=)ехр fn (н 一 =) = ехр fn(H 一 E) + 二 +1(1 — =) 上 
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假设 по ME: 对 于 n > по, 有 
> +In(1 — £) > 0. 
于 是 , 对 于 n > по = max{ni,n2}, 有 
М№М(С(п,=1)) > е" Я -®). 口 


5. 用 概率 方法 证 明 维尔 斯 特 拉 斯 定理 ”利用 介 努 利 概 型 的 大 数 定 律 , 可 以 给 著 
名 的 维尔 斯 特 拉 斯 (К. Т. W. Wierstrass) 定理 “用 多 项 式 通 近 连 续 函 数 ” 以 简单 而 
雅致 的 证 明 . 

设 f(p) 是 线段 [0,1] 上 的 连续 函数 . 引进 多 项 式 


ва) = (5 ) са a-p), 0<р<1,п >0. (15) 


该 多 项 式 称 做 伯 因 斯坦 (C. Н. Бернштейн) LMAO, 用 提供 维尔 斯 特 拉 斯 定理 的 
此 证 明 的 作者 命名 . 

如 果 &\,--- ,& 是 独立 伯 努 利 随机 变量 序列 , Н Р{&, = 1} =PPfe = 1} = 0, 
W Sn = 三 十 十 细则 

Е/ (5, /п) = В„(р). 

由 于 在 财 区 间 [0,1] 上 的 连续 函数 = f(p) 一 致 连续 , 可 见 对 于 任意 s > 0 存在 
6 > 0, 使 当 lz- 可 和 5 时 |/z)- /(у)| <. BA, 这 样 的 函数 有 界 : |/(ж)| < М < оо. 

因此 由 不 等 式 (5), 可 见 


|/(р) — Bn(p)| = > |7O@- ДЄ ) сока ка" 

k=0 
< у № ое 

{81 -р|<%) 

+ E №. Е ) Срд” 
{6:1 -р]>6} 
n— 2M M 

<є+2М у, СЁр®*а Ея + 5. 


(61 28} 
由 此 可 见 , 对 于 伯 恩 斯 坦 多 项 式 (15), 


діт таах |(р) — В»(р)| = 0, 


这 正 是 维尔 斯 特 拉 斯 定理 的 结论 . 
也 с. н. 伯 恩 斯 坦 (C. Н. Бернштейн , 1880 一 1968, 乌兹别克 斯 坦 统计 学 家 ). 一 一 译 者 
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6. 练习 题 
1. 设 随 机 变量 E 和 п 的 相关 系数 为 р. 证 明 切 比 雪夫 不 等 式 二 维 类 似 : 


li+Vi—p 
Р{|Е – Eé| zey DE X |n- En| > ey Dn} < ЕЗИ 


(提示 . 利用 М 中 练习 题 8 的 结果 .) 
2. 设 f = f(x) 为 非 负 偶 函数 , 且 当 x > 0 时 非 减 . Е = elw) 是 非 负 随 机 变量 ， 
В |.) < С, 证 明 对 于 任意 s > 0, 有 


Е — 
PE > e} > © IO 
特别 , 对 于 f(x) = z2， 
2 _ „2 
Е ере > e} < DE. 
3. 设 与 ,是 独立 随机 变量 序列 , ОЕ, < С, 证 明 


Р} SI 十 十 en E&i +. tEn) 


п, п 
(SRRA (8) 有 同样 的 补充 说 明 , 由 不 等 式 (16), 可 见 在 比 伯 努 利 概 型 更 一 般 的 情 
ЖЕ, 大 数 定律 依然 成 立 .) 
4. 设 6 En 是 独立 伯 努 利 随机 变量 , Н Р{&, = 1} = p > 0,P{& = -1} = 
4(р + а = 1), 证 明 有 如 下 伯 恩 斯 坦 估计 : 对 于 任意 a > 0, 有 
— (2р 一 о > e < 2e “ce п, 


Р{ 5 
其 中 5, =E +H En E> O. 
5. 设 E 是 非 负 随机 变量 , 而 a。> 0. 求 概率 P(E > а) 的 上 确 界 , 假如 已 和 
(1) Её = 20; 
(2) Её = 20, Dé = 25; 
(3) ЕЁ = 20, DE = 25, Н Е 关于 数学 期 望 对 称 . 


С 


$6. AIARA п. 极限 定理 (RAR — 拉 普 拉 斯 局 部 定理 、 泊 松 定理 ) 
1. чая — 拉 普 拉 斯 局 部 定理 ” 像 上 一 节 一 样 , 考虑 


Sn = E1 + En. 


Sn 
E” = 
P, (1) 


$6. НЯ п. 极限 定理 (МИЯ — ПЕНИЕ. НИЕ) . 55> 


而 由 $4, (14) K , 
Е (= -p) = =. (2) 


由 (1) АТМ, 5, /п ~ р, 其 中 关于 等 价 符号 “~” 曾 以 概率 


р >=] 


Е 


的 估计 的 形式 , 在 大 数 定律 中 得 到 确切 的 解释 . 自然 想到 , 由 “关系 式 ”(2) 亦 可 给 


им (3) 


以 确切 的 概率 意义 . 例如 , 考虑 形 如 
< гү} ‚ LER! 


Е 


一 一 了 
的 概率 , 或 (由 于 ES, = пр, 05, = пра) 考虑 概率 


如 果 对 n > 1, 仍 记 
Palk) = CE pfaf, 0<К<п, 
则 概率 S рв 
P] 55 <з} = ` Pa(k). (4) 


现在 提出 问题 : 当 п 一 оо 时 求 概率 P (k) 及 其 和 
У РЕ) 


9) 


满 是 的 便于 应 用 的 渐 近 公式 . 
下 面 的 定理 , 对 于 既 满 足 |Е— np| = O(Viipa) 又 满足 [Е 一 np| = о(прд)?/З 的 大 
值 , 给 出 了 答案 . 
局 部 极限 定理 设 0<p<1, 则 对 满足 |k 一 np| = ol(npq)?/3 的 所 有 К, 一 致 有 
1 аы? 


Р„(Е) гы тира 2npg , (5) 
P, (k) 
ке E | (6) 
(прев) | l о 
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其 中 оп) 是 任意 满足 p(n) = olnpg)23 ЗЕЯ Ж. 
证 明 对 于 证 明 , 主要 用 到 斯 特 林 (J. Stering) 公式 (86, (2) 式 ): 


n! = /2тпе “п (1+ Rn)), 


其 中 当 п — оо 时 В(п) 一 0. 
根据 斯 特 林 公式 , Ж п 一 ; оо, К э оо, п — k — оо, Й] 


V27ne "n" (i + В) | 
у 2rk x 27(п — kjekk (n — К)”-Ке-(®-Ю)(1 + В(К))(1 + R(n — К)) 
Е 1 1+=(п,А,п — К) 


Б k k k n-k? 
СӨ 005 
n n n n 
其 中 当 п 一 оо, К — оо, п 一 大 一 оо 时 , 显然 (п, к,п - К) — 0. 
因此 


Pa(k) = Сира” = 


и 
— 


1 Р-р)" “(1+e) 
k k k п К“ 
“(б (76-9) 
п, Ті, п n 


记 р= k/n, W 


RO- aa G) (Е) +9 


1 p 1—р 
= 天 -天 一 一 exp п + (n — k)ln > 1 += 
\/ 2ппр(1 - р) | р | 1—р ( 
1 Б, р k 1-2 
= —— exp рп | 一 In 二 十 (1 一 一 | Ш =|? x(l 
У2тРа = pd | р ( 3 = +e) 


= ———————ехр{—-пН(@)} х (1+5), 


Отпр р) 


其 中 


Н (=) = жа а-а) т>. 
所 考虑 的 上 满足 |k -npl = о(пра)2/3, W n — оо Ё р б 0. 


НТ 0<т<1 


l-z 
1-р’ 


Н’(х) = 2 -hn 
р 

1 

1-х’ 


1 
H” (x) — -=5 十 


1 
Н” 一 一 
(x) 7 十 
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因此 , 若 将 Н(р) 表示 为 Н(р + G-p) 并 利用 泰勒 (В. Taylor) AR, 则 当 ”充分 
大 时 , 有 


H(P) = H(p) + Н'(р)($— p) + 5Н"(Ф- p)? + O(P- рї) 


-ifi i\e „ү ~ 3 
= 3 (3+1) G-p? +01- вв) 
从 而 
ш DORLAN _ 2 入 ,13 
PN = ру ео | ара Р Ol-i) x +e) 
注意 到 > 
P ogopa E_p) _(Ё—" Р)” 
рд P = Эр (5 p) 2npg | 
因此 ‚ | 
БЕ) = i Tapa (1+ ғ'(л, k,n — k)), 
其 中 | 
1 +e'(n,k,n – К) = [1 + (п, А, п 一 ке" РГ | В 
易 见 
sup [Е (и, А, п — k} — 0, пою, 
其 中 sup 对 满足 


Е — пр| < y(n), p(n) = о(пра)? "3 
HERR D 
Ж 局 部 极限 定理 的 结论 ,可 以 表述 为 如 下 等 价 的 形式 : 对 于 一 切 zx € К, Ж 
х = о(прд)!/ ô, т пр + т./пра 是 集合 {0,1, п} 中 的 整数 ， 则 


1 _ =2 
Ра(пр + ту/пра) ~ тира“ 2, (7) 
即 当 nn 一 оо 时 , 有 
Fn (np + тп 
sup Гар + Футур) —1|—›0 | (8) 
{2 =|<у(п)} е 5 
у 27прӯ 


其 中 y(n) = о(пра)!!®. 
注意 到 关于 85 中 (8) 式 的 说 明 , 可 以 用 概率 的 语言 将 上 面 得 到 的 结果 表述 为 : 


1 {kn 2 
Р Sn = Кі (о 2n pq — 一 2/3 
(5, = 月 J ,npl = обра)? (9) 


Sn — np | 1 2? 
Р =g о е, g = о(пра)И 6. 10 
| т рт (пра) (10) 
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(假设 在 (10) 式 中 пр + т./пра 取 0,1,...,n 为 值 .) 


假如 设 ар 
tk = трд ' А = ы фк = сс 
则 (10) 式 具 有 如 下 形式 : 
ЗЕ =} ~ Teet, tk = (пра)! 8. (11) 
EAH п 一 оо 时 ‚ 
{в = TA 0, 


而 反 tk 的 集合 {t} “充满 ”整个 数 轴 . 因此 , 自然 想到 由 (11) 式 可 以 得 到 积分 公式 : 


Sn — NP 1 b -z Е | 
Р {a< тра в | е Чт, ~œ <a [b< о. 
下 面 将 给 出 确切 的 表述 . 
2. Я - 拉 普 拉 斯 积分 定理 对 于 -co <а<Ь < оо, 8 
= У’ Р„(пр + rvVnpg), 


а<т&<Ы 
其 中 对 一 切 使 np + х/пра 为 整数 的 x KA, 
由 局 部 定理 可 见 ( 亦 见 (11) 式 ), 对 于 由 有 = пр + tkVnp4 决定 且 满 足 条 件 
tk < Т < оо Мы, A | 


Pop+tkVH = Эе + об), (19) 
其 中 
зир le(tr,n)| > 0,n 一 оо. (13) 


tal ST 


从 而 , 对 于 固定 的 a,b (-Т <a<b<T, ШТ< оо), 
У` Р.(пр+ te тра) = + у` (клу АЁ, 6-4 


a<tk {b CC<tk 入 a<tk Sb 
1 fè _„2 
= —— | е ғ + RY (a,b) + RP) (a,b). (14) 
= | с с 


其 中 


At & 1 
ВИ) (а, Б) = у k “Эл? 2 — = e77 dr, 
а Sb V27 21 Ја 


Atk _& 
RP? (a,b) = ` elte n) e *. 
T 


a<tk £b 
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由 热 知 的 积分 和 的 性质 ， 


вир |В0а,6)|-+0, п оо. (15) 
—Т<азь<т 
同样 易 见 

sup |80 (а, 5) < вир, le(tx, п) у, Atk 。- $ 

-Т<а<ь<тТ у 27 
[|< Т 
1 22 

< sup le(tr,n)| х >f e- Tdr+ sup |В@(а,5)|| — 0. (16) 

ltk! <T V2T /-т -TgagbgT 


其 中 右 侧 收敛 于 0, 是 因为 (15) 式 以 及 数学 分 析 中 熟知 的 事实 


1 _ ою _ 
ml e ga пт) 
w T 
P(r) = -z И -$ dt, 
则 由 (14) ~ (16) A7 М, 
sup  |Рь(а,6] — |Ф(6) — Ф(а)]| > 0, п > оо. (18) 


—Т<а<ь<т 


现在 证 明 , 该 式 不 仅 对 于 有 限 T RL, 而 且 对 于 了 人 = оо 也 成 立 . ВТ (17) А, 
对 于 任意 给 定 的 > 0, FEAR T = Т(є), 使 


1 _ =2 
+f e z dz > 1 — 7 (19) 
根据 (18) R, 对 于 任意 = > 0, 存在 N, 使 对 于 一 切 n> М ЖЯ Т =Т(є), 有 
sup |P,(a,b] - [Ф(5) — Ф(а)]| < -. (20) 
-Т<а<<Т 4 


由 此 和 (19) 式 , 可 见 
Р,(-Т,Т)>1- 2, 


2 
因此 
天 (一 oo -Т| + Р„(Т, оо) < >. 
其 中 


Р‚(-со,Т] = P Pa (5, T), Pa (T, оо) = фт Р„(Т, 5). 
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这 样 , 对 于 任意 -oo -Т<а<ь<Т< оо, Ë 


2 T r2 
Pn a- f ean < | Ph тут) —— „е da 
@ 4 - == | TT- =] 
р Tj- — ] Р(Т,Ь 2 —— М.а 
па, 一 А т, 7 ИОГ 2 
у 27 у 27 JT 
< Í + Р. (о, -T] + 一 一 f е dr + Р, (T, со) 元 人 е tdr 
Е E Е Е 
之 二 十 二 十 = 十 二 = 二 &. 


注意 到 (18) 式 , 由 此 容易 证 明 Р„(а,Ь] 关于 -œ <a <b < oo 一致 趋同 tb) 一 
(a). TÆ, 证 明了 下 面 的 定理 . 
RRR - 拉 普 拉 斯 积分 定理 设 0<p<1， 
РК) = Crzp dg" ,Pn(a, b] — ` Pa(np + хутра). 


a< rs[b 


я 


зир — 0, по. (21) 


1 f 2 
-oLa <b Pn la, 0 р z ] ~ йт 
精确 到 85 中 (8) 式 所 指 , 可 以 将 (21) 式 的 结果 用 概率 的 语言 表示 为 : 
Sn — 05, 1 
Pt 69) я 
由 此 可 见 , 对 于 任意 -oo <А < В < оо, 有 
В — np A — np 
Р{А < Sn <В) (ИР) (2) о п 一 оо. (22) 
例 НИК 12 000 次 . H “6 点 ”出 现 的 次 数 属 于 区 间 (1800, 2100] 的 
概率 Р 如 何 ? 
所 求 概率 等 于 


е Дт —0, n= о. 


1 k 5 n-k 
Р = У Сї; 000 (5) Ө . 
1800<k<2100 


显然 , 用 “ 手 算 ”精确 地 算出 该 和 的 值 是 相当 困难 的 . 假如 利用 积分 定理 , 则 求 
得 此 概率 Р 大 致 等 于 (n = 12 000,p = 1/6, А = 1800, В = 2100): 


Ф 2100 — 2000 _% 1800 — 2000 
15 1 5 
12 000 x = x z 12 000 x os x= 


= (V6) — Ф(—2\/6) = (2.449) — $(—4.898) ~ 0.992, 
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其 中 Ф(2.449) 和 Ф(—4.898) HE, НЕ ЖЖ № ЖИ Pr) 数值 表 查 出 (参见 第 6 小 
+). 

З. 二 项 概率 的 正 态 通 近 把 二 项 概率 Р, (пр + г/пра (假设 只 考虑 使 пр 十 
тү/йра 为 整数 的 т) 标 在 图 上 (图 9). 


Р,(лр+х[ пр) . 


图 9 


ЖА, 局 部 定理 表明 , 对 于 = = о(пра) t, 概率 Р, (пр +2. /пра) 的 值 较 好 地 “位 


+” ЕН Е: | 


== „——- 


Vad 
由 积分 定理 知 , 概率 


Р„(а,Ь) = Р{а\/пра < Sn — np < bnpa} 
= Р{пр + а,/прд < Sn < пр + bnpa} 
的 值 可 以 较 好 地 由 积分 


sup Км) — (x)| 一 0, п 一 оо. (23) 


重要 的 是 在 (21) 和 (23) 起 中 ВЕ п 的 增长 趋向 0 的 速度 如 何 . 这 里 引用 的 结 
宋 是 贝 里 - IRR (А. С. Berry-C. G. Esseen) 定理 的 特殊 情形 (第 三 章 811): 
зир |5,00) - Фе < РТ (24) 
要 特别 强调 , 估计 1/ /пра 的 量 级 不 能 再 提高 了 . 这 指 的 是 , 当 p 的 值 接近 0 或 
1 时 , 甚至 对 于 充分 大 的 n, 用 函数 $(2) ВЕ Р, (х) 的 效果 可 能 不 佳 . 因此 产生 一 个 
问题 , 当 р 或 gq 的 值 较 小 时 , 能 否 为 我 们 关心 的 概率 , 找到 比 局 部 和 积分 定理 给 出 的 
正 态 分 布 更 好 的 逼近 . 为 此 我 们 指出 , 当 р = 1/2 时 二 项 分 布 {P,(k)} 具有 对 称 的 形 
状 (图 10 左边 的 图 ). 不 过 , 24 р 较 小 时 ， 一 项 分 布 的 形状 是 非 对 称 的 (图 10 的 右边 
的 图 ), 不 能 指望 用 正 态 通 近 有 好 结果 . 
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P=1/4, п=10 


4. 泪 松 定理 ”结果 表明 , 对 于 较 小 的 р 值 , 概率 的 所 谓 泊 松 分 布 可 以 很 好 地 通 


近 二 项 分 布 的 概率 Р, (К). 
设 


Chpt ЕЁ, Я: К =0,1,...,п, 


Р (Е) = 
(К) о Ak=n++l,n+2 >, 


НЕЕ p Æ n 的 函数 p= p(n). 


泊 松 定理 it p(n) 一 0,n 一 оо, Н пр(п) 一 А, 其 中 入 > 0. 那么 , 对 于 任意 


k= 二 0,1,…, 有 


Р„(Е) — Tk, п — ОО, 
其 中 
证 明 证 明 十 分 简单 . 由 于 根据 条 件 


рп) = 7 +о(, 
可 见 对 于 固定 的 有 = 0,1,--- 和 充分 大 的 n, 


Pn (kK) — СЕ рё" к 


еа еро" 


由 
п(п —1)..-(п- К +1) 2 (2) 
_ Mn) СЕН 
和 


А + ol) => А, п 一 oo， 


(25) 


(26) 
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立即 得 (25) =. | 口 
”数组 {ль k =0,1...}, ЖЕ 


ее 
Tk > 0, у хь = 1, 
к= 0 


因此 可 以 作为 概率 分 布 , ЖЖ. 注意 , 以 上 所 讨论 的 概率 分 布 都 集中 在 有 限 
ARE. 泊 松 分 布 , 是 我 们 第 一 次 遇 到 的 集中 在 可 数 个 点 上 的 (离散 型 ) 分 布 的 例子 . 

于 面 引进 的 (Ю. В. 普罗 霍 洛 夫 的 ) 结果 , 给 出 了 当 п 一 co 时 概率 Р, (К) 收敛 
于 т, 的 速度 : 如 果 пр(п) = А, W 


УМР, (К) —ть| < 一 x min(2, А). (27) 
k=0 


5. RAH - 拉 普 拉 斯 定理 与 大 数 定律 ”我 们 再 回 到 棣 莫 弗 - 拉 普 拉 斯 极限 定 
理 . (ТЕ 85 对 (8) AW BHAINT IE F) 说 明 如 何 由 棣 莫 弗 — 拉 普 拉 斯 极限 定理 , 得 出 大 


数 定律 . 因为 < 
еее 


所 以 由 (21) 式 可 见 , 对 于 > 0, Ап оо 时 


Р 车 М а 
— — р < є 72 Ат —> 0, 28 
| n p! 上 zJ. Saia “ ) 


© п — ПР 
рч 


因此 

Р Sy <e} —>1 п оо, 
此 即 大 数 定 律 的 结论 , | 

由 (28) 式 , 可 见 
Sn =\/п/ра 2-32 | 
Р -pl <e} 后 | no (29) 
然而 , 切 比 雪夫 不 等 式 只 能 给 出 下 面 的 估计 
Sn 
Р} = | < e} 之 工 一 T | 

ТЕ $5 第 3 小节 关于 为 使 不 等 式 


P| 
n 


“ 习 较 弱 结 果 的 证 明 , 将 在 第 三 章 12 介绍 


. 64. 第 一 章 ”初等 概率 论 
成 立 所 需要 的 观测 次 数 , 由 切 比 雪夫 不 等 式 得 到 下 面 的 估计 


п > = (= т1(а)), 


其 中 [а] 是 z 的 整数 部 分 . 例如 , 对 于 є = 0.02, а = 0.05, # 12 500 次 观测 . ME, 
利用 等 价 关 系 式 (29) 解决 了 同一 问题 . 


我 们 由 关系 式 а) 
1 з _,_„ 
Е Дн." ат = 1 
Ж kla). 由 于 
eJZ > 2є\/п, 
并 由 不 等 式 
2e Vn > К(а), | (30) 
ЖН (最 小 整数 ), 得 
(кер = 
由 (30) 式 , 可 见 п 二 nz(a), 其 中 | 
_ [k (в) 
no(a) = | Ac2 | 


可 以 保证 (31) 式 成 立 , 其 逼近 精度 容易 由 (24) 式 得 到 . 
取 c = 0.02, а = 0.05, 可 见 只 需要 2500 次 观测 , 而 不 是 切 比 雪夫 不 等 式 要 求 的 
12 500 Ж. 下 面 对 于 一 些 о 值 , 列举 相应 的 k(a) 值 : 


œ: 0.50 0.3173 0.10 0.05 0.0454 0.01 0.0027 
k(œ): 0.675 1.000 1.645 1.960 2.000 2.576 3.000 


6. 正 态 分 布 ”前面 在 棣 英 弗 — 拉 普 拉 斯 积分 定理 里 , 引进 的 函数 


1 ге 
在 概率 论 里 起 非常 重要 的 作用 , 称 做 正 态 分 布 函 数 或 高 斯 分 布 函 数 . 函数 


22 


е, ЄЙ, 


1 
p(z) = = 


称 做 正 态 密度 或 高 斯 密度 . 
我 们 已 经 见 到 过 在 有 限 或 可 数 氮 集 上 的 (离散 型 ) 分 布 . 正 态 分 布 属于 概率 论 中 
为 外 一 种 非常 重要 类 型 的 分 布 一 一 连续 型 分 布 . 正 态 分 布 之 所 以 非常 重要 , 首先 是 
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因为 在 相 当 一 般 的 条 件 下 , 大 量 独 立 随 机 变量 (未 必 是 伯 努 利 变量 ) 之 和 的 分 布 , 可 
以 很 好 地 用 正 态 分 布 来 逼近 (第 三 章 54). 我 们 现在 讨论 函数 (ж) 和 B(x) 的 一 些 简 
单 性 质 , 而 图 11 和 图 12 分 别 是 ol) 和 l) 的 图 形 . 


А i aa 
-3 -2 -~l 0 0.67 1.96 2.58 


11 正 态 分 布 密度 p(x) 图 


图 12 ERRAR (z) 图 


国 数 у(х) 的 图 形 是 关于 纵 轴 对 称 的 钟 形 曲线 , 随 着 jz| 的 增长 下 降 得 非常 快 : 
2(1) = 0.241 97, (2) = 0.053 991, 0(3) = 0.004 432, (4) = 0.000 134, (5) = 
0.000 016. 该 曲线 在 xz = 0 达到 最 大 值 (2x)-1/? = 0.399. 


6 > 的 增长 , 函数 
| 1 т ү 
(а) = e 2 dt 


曲线 趋同 1 极 快 : Ф(1) = 0.841 345, Ф(2) = 0.977 250, Ф(3) = 0.998 650, $(4) = 
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0.999 968, $(5) = 0.999 997. 

关于 函数 p(x) 和 (r), 以 及 概率 论 和 数理 统计 中 其 他 一 些 基 本 函数 的 数值 表 ， 
参见 [6]. 

需要 指出 , 在 进行 计算 时 , 除 函 数 Ф(т) 外 , 还 常 使 用 与 之 相近 的 误差 函数 


erf(x) = =] е dt, zx>0. 


显然 , 对 于 z > 0, 有 


T 


Ф(т) = _ h + erf (5) ‚ erf(x) = 2Ф$(У2т) — 1. 


т. 成 功 频 率 对 概率 的 偏差 满足 一 定 要求 的 试验 次 数 在 85 第 3 小 节 的 最 后 曾 
经 指出 , 由 切 比 雪夫 不 等 式 给 出 的 事件 


(lE 
概率 的 估计 是 相当 粗略 的 . 这 一 估计 对 于 非 负 随机 变量 X, 是 由 切 比 雪夫 不 等 式 


ЕХ? 
22 


P{X >=} < 


得 到 的 . 不 过 可 以 利用 切 比 雪夫 不 等 式 的 另 一 种 形式 


ЕХ 2* 
Е2К | 


然而 , 还 可 以 更 进一步 , 利用 切 比 雪夫 不 等 式 的 “指数 ”形式 : 对 于 对 >0 和 入 >0， 


Р{Х >є}=Р{Х® > 26) < (33) 


P{X > =} = Р{е^^ р> е^} < Бел). (34) 
由 于 和 > 0 的 任意 性 , 可 见 


P{X >e} < inf Бел), (35) 


我 们 讨论 ， 4 X = Sn/n, Sn = &1+---+&,Р{& = 1} =p,P{é; = 0} = 9,1 21 
时 , 沿 此 路 径 将 导致 何 种 结果 . 
记 (А) = е^, Д] 
2(A) =1-р+ре^, 


且 在 假设 1, e. ‚Ёп ЖУ ЈАЧЕ Е, 有 


Ee… = [po(A)]”. 
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因此 , 对 于 0 < a<1， 
Р E > al < inf Ее^(^®-а) — іп е-%1%2-18(%)1 
n A>0 A>0 


— пее "0° (8) — е" зир|аз 11 Pts] (36) 
8 


类 似 地 
—nsuplas—l 8 
р] 5 < a) < (37) 


当 p < a < 1 了 时, ЖЖ f(s) = аз — 1п(1— р + pe’) 在 点 so[f'(so) = 0] 达到 最 大 
值 , 其 中 点 so 决定 于 


80 __ а(1 ~p) 
T paa) 
因此 
зир / (8) = Н(а), 
其 中 А 
а, — а, 
Н(а) = alng + (1 -а) № Ip 
是 前 面 证 明 局 部 定理 时 引进 的 函数 (第 1 小 节 ). 
这 样 , 当 p<ag1l 时 
Р |= > al <е_"Н(@), (38) 


而 由 于 Н(р + х) > 222,0 <р+г<1 АҒ => 0,0<р<1, E 


Р Е -p> г) < ет2п? (39) 
n | 
类 似 可 得 , 当 a < p<1 时 
Р (2 < a) < eH() (40) 
n 
从 而 , HE = > 0,0 <р<1, 有 
Spn п 
ре} se . (41) 
于 是 А 
Р [|5 一 д 之 e} < 2e-2ne . (42) 
由 此 可 见 , 对 于 任意 0 < p < 保证 不 等 式 


S 


p |2 
n 


[<= 21а (43) 
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成 立 的 观测 次 数 na(a) 决定 于 下 面 的 公式 


паба) = [2E] (и) 


其 中 [r] 是 r 的 整数 部 分 . 不 取 “ 整 数 部 分 ”, 直接 将 nala) 与 п. (о) = [(4а=?) | И 
较 , 可 | 


= 


— —— Tto, alo. 
пз(а)  4ae? 2e? д2 | 
СҰ 


п, (о) 1 | г ___1 


由 此 可 见 , 当 a | 0 时 , 由 指数 型 切 比 雪夫 不 等 式 (34) 估计 的 最 小 必须 要 的 观测 次 
Ж, 比 用 一 般 切 比 雪夫 不 等 式 估 计 的 次 数 更 为 准确 , 特别 是 对 于 较 小 的 а. 利用 将 证 
明 的 关系 式 


可 以 证 明 , Ч а | 0 Е К? (а) ~21n(2/a). 于 是 
по(а) 
пз(а) 

像 (38) ~ (42) 式 类 型 的 关系 式 , 在 概率 论 中 称 做 大 偏差 概率 的 不 等 式 . ГНА 

对 这 一 名 称 的 解释 . 

利用 棣 莫 弗 — 拉 普 拉 斯 定理 , 可 以 简单 地 估计 事件 {Sn — пр < т/п} 的 概率 ， 
此 事件 表示 5, 对 np (数量 级 Vn) В ИЕ" М. 而 不 等 式 (39),(41) 和 (42) 对 


— l], a | О. 


{15 — np| < туп} 
给 出 的 估计 描绘 量 级 大 于 Vn 的 离 差 , 其 数量 级 为 n. 
我 们 将 在 第 四 草 85 中 , 在 更 一 般 的 情形 下 研究 关于 大 偏差 概率 的 问题 . 
8. 练习 题 
1. п = 100,р = 1/10,р = 2/10,р = 3/10,р = 4/10,р = 5/10. 利用 (例如 文献 
[6] 中 的 ) 二 项 分 布 以 及 泊 松 分 布 的 数值 表 马 , 将 概率 
Р{10 < 510 < 12}, P{20 < 500 < 22}, 
Р{33 < 5100 < 35}, Р{40 < 5100 < 42}, 
Р{50 < 5100 < 52} 
5 ESEIA AEV ЯНУ RUE HAT БЕ. 
2. W p= 1/2, 而 Zn = 25, —п (n 组 试验 中 1 比 0 多 出 的 个 数 ). 证 明 
sup |утпР{ 222 = j} — ei /| 0, п оо. 


”@ 亦 可 利用 : 中 国 科学 院 数学 研究 所 编 的 《常用 数理 统计 表 》, 科学 出 版 社 , 1974 年 . 一 译 者 
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3. 证 明 泊 松 定理 (对 于 р = л/т) 的 收敛 速度 为 
ASe 一 ^ 
К! 


А2 
< — 
n 


sup {Р (К) 一 
k 


(证 明 可 以 参见 第 三 章 $12.) 


87. 伯 努 利 概 型 中 “成 功 ” 概 率 的 估计 


1. “成 功 ” 概 率 估 计 的 概念 和 性 质 〈 相 合 性 , 无 偏 性 和 有 效 性 ). 以 上 讨论 的 伯 
努 利 概 型 
(9, Æ, P), Q = {w : w = (£1, ,Tn), Ti = 0,1}, 
ё ={А: A C Q} P({w}) = p(w), 
p(w) = р (1 — ру", 


假设 р (“成 功 ” 的 概率 ) 的 数值 已 知 . 
现在 假设 р 事先 未 知 ， 并 希望 根据 对 试验 结局 的 观测 结果 , 或 由 对 随机 变量 
上 的 观测 结果 来 确定 р, 其 中 5(w) = zi;， 这 是 数理 统计 的 典型 问题 之 一 ， 
有 不 同 的 提 法 . 我 们 下 面 讨论 问 题 的 两 种 提 法 :估计 间 题 和 建立 置信 区 间 问 题 . 
沿用 数理 统计 中 普遍 采用 的 记号 , 未 知 参数 p 记 作 0, 并 认为 是 验 前 的 (a priori), 
Н 9 的 值 属 于 集合 6 = [0,1]. 通常 称 “ 由 


ё 一 (Q, £, P9,0 Є Ө), Р,({‹0}) — 92 =* (1 _ g) 2 =: 


确定 一 个 (对 应 于 п 次 独立 试验 ' Н. (成 功 : 概率 为 96€ Ө 的 ) 概率 – 统计 模型 ” 而 
任何 在 Ө 中 取 值 的 函数 Т, = Trw) REHE. 


如 果 设 < 
Sn =& + Ёп, Та = —, 


则 由 大 数 定律 可 见 , 估计 量 T: 称 做 相合 的 , 若 对 于 任意 є > 0, 有 


Poe{l2 — 0| >=} 0, п со. (1) 
此 外 , 估计 量 T* 称 做 无 偏 的 , 如 果 对 于 任意 g € ө, 
ЕТ» = б, (2) 


其 中 Е 是 对 应 于 概率 Po 的 数学 期 望 . 

佑 计量 的 无 偏 性 是 一 条 很 自然 的 性 质 , 它 反映 如 下 事实 : 由 任何 合理 的 估计 量 ， 
至 少 在 平均 意义 下 都 应 当 得 到 所 期 待 的 结果 . 不 过 , 估计 量 Т^ 并 非 唯一 无 偏 估计 量 . 
例如 ， 对 于 bit- bn = т, 任何 一 个 估计 量 
biéi+ + вы 


n 


Ín 
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АБ НН. 这 些 估计 量 都 服从 大 数 定律 (1) (至 少 对 于 | < К < оо), 从 而 , 这 些 
估计 量 Т, 也 和 Т 一 样 是 “好 ”估计 量 . 
TE, 产生 一 个 问题 : 如 何 比较 不 同 的 无 偏 估 计量 , 它们 之 中 哪 一 个 应 称 做 最 好 


的 、 最 优 的 . 
按 佑 计量 的 本 身 的 含义 , 自然 应 当 认 为 佑 计量 对 被 个 计 的 参数 的 偏差 越 小 越 好 ， 
基于 这 样 的 考虑 , 称 估计 量 Т, (在 无 偏 估计 Т, 类 中 ) 为 有 效 的 , 如 果 


DoT, = inf DeTn, 6ЄӨ, (3) 


其 中 рот, 是 估计 量 Т, 的 方差 , 即 Eo – 0)2. 
现在 证 明 上 面 所 考虑 的 估计 量 T* 是 有 效 估计 量 . 事实 上 , 有 


ж n DoS п9(1 — 9) 9(1 一 9) 


因此 , 为 证 明 估计 量 T* 有 效 , 只 需 证 明 


шерт, > 94-9 
Т, n 


(5) 
对 于 9 = 0 和 1, 不 等 式 显 然 . 现在 设 9€ (0,1) В 
а) = (10). 
显然 Po({w}) = polo), 其 中 n 
рө(ш) = Пр) 


记 
Le(w) = ln pe(w). 

那么 

Le(w) = вуха, + 11(1 — 0) yd 一 XTi), 

i=] + 二 1 
ӘГе(ш) эы -% 

Ө Ө(1 — Ө) 

因为 


1 三 Bol = 》 pe(w) 
НАНЕ Т, 的 无 偏 性 


9 = өТ„ = у, Тө (ш)рө (шә), 
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所 以 经 对 Ө ЖЕ, 得 


дрө(ш) 90 OLe(w) 
0= 2 шу A = | 96 | 
Ор (и 
2 OLe(w) 
1= у” n ( у Реб) = Ee т, 99 | 
因此 ， 
DZLo(cw) 
79 
而 根据 柯 西 — 布 尼 亚 科 夫 斯 基 不 等 式 | 
1 < Es(T, — 8)? х Е Е 
于 是 | 
| Еө(Т, 一 9) > т-у; (6) 
其 中 
1, (0) = Ep | 22962) | 
п — p 90 
称 做 费 希 尔 信息 量 . 


由 (6) 式 得 无 偶 估 计量 的 所 谓 拉 奥 - 克拉 默 (C. R. Rao — С. Cramér) 不 等 式 的 


特殊 情形 : 


inf Do > 9 (7) 


对 于 所 讨论 的 情形 , 有 


0) = в, [RO] в, 


n 2 
2 (6 — 8) 
а — 8) 


_ п0(1-0) п 
_ BA- (1-0) 


从 而 不 等 式 (5) 得 证 . 如 我 们 曾 提 到 的 那样 , 由 此 可 见 T+ = 5, /п 是 未 知 参数 9 的 
有 效 估 计量 . | 

2. “成 功 ”概率 的 置信 区 间 TA, 把 T* 当 作 9 的 “点 ”估计 量 , 我 们 就 犯 了 
茶 种 错误 . 长 至 有 可 能 出 现 这 样 的 情形 , 由 观测 数据 zl … ,zn 计算 的 数值 T*, 对 Ө 
的 真 值 有 相当 大 的 偏差 . 因此 最 好 再 指出 误差 的 大 小 . 

不 能 指望 对 所 有 基本 事件 w, ТУ = T*(w) 都 能 与 未 知 参数 9 的 真 值 差异 其 
小 , 这 也 是 毫 无 意义 的 . 不 过 , 由 大 数 定律 , 知 对 于 充分 大 的 п 和 任意 > 0, 事件 
{10 一 7*| > 6} 的 概率 都 充分 小 . 


‚72. жин ОЖЖ 


根据 切 比 雪夫 不 等 式 , 有 


DoT; 6(1 -0) 


* < 
Р,{ |0 一 Тр | > б} ni? 7 


因此 , 对 于 任意 入 > 0, 有 
Р рот <А CAs 


X2 


例如 , 取 入 = 3, 则 事件 
[ө-т] <3 aa) 


出 现 的 概率 Ро AF 0.8888 (1— 1/3? = 8/9 = 0.8888). 特别 , 因为 {9(1 — Ө) < 1/4}, 


故事 件 
人 < л) 


出 现 的 概率 Po 大 于 0.8888. 
于 是 ， 


* 3 * 
Po {10 — Т*| < zrl- Po (1; - 55. SIS Ti+ + gp > 08888. 
换 句 话说 , 可 以 断定 “未 知 参数 9 的 真 值 ”以 大 于 0.8888 的 概率 属于 区 间 


. 3 3 
т; па" + 5 万 | | 
有 时 将 此 命 感 简单 地 表示 为 
3 
Ө 一 Т + 去 万 (> 88%), 


其 中 “> 88%” RI “在 概率 不 小 于 88% 的 情形 下 ”. 


区 间 А А 
Ту 元 万 ,人 +5 万 
就 是 “未 知 参 数 的 置信 区 间 ” 的 一 个 例子 . 
定义 称 形 如 


[1 (ш) , 42 (ш) 


的 集合 为 置信 和 度 1 一 6 的 置信 区 间 (或 显著 性 水 平 为 5 的 置信 区 闻 ), 如 果 对 于 一 切 
@ёєЄ Ө, = 
Po{wi(0) <8 < wa(0)} > 1—6, 


其 中 (ш) 和 yw) 是 基本 事件 的 两 个 函数 . 
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上 上 面 的 讨论 表明 , 区 间 
A Л 
| "ут" IA. 
的 置信 和 度 为 1-1/2. 实际 上 , 置信 和 度 要 远 远 高 些 , 因为 由 切 比 雪夫 不 等 式 只 能 得 到 
事件 概率 的 粗略 估计 . 为 得 到 更 精确 的 结果 , 注意 到 
fo : 10 — Т | А “ы” — {о : 1 (Та, n) <0< 42(Т»,п)}, 


其 中 yi = (Ту, п) 和 wo = (Тип) 是 如 下 二 次 方程 
| @ 
б-ту Мао 


的 根 , 该 方程 描绘 图 13 所 示 的 椭圆 . 现在 记 


Sn — ng 
那么 ,  $6(24) 式 , Б] И, 


п | 1 
sup |Р; (т) — Ф(т)| < ЛӨП Сй) 图 13 


因此 , 假如 事先 已 知 
0<А<@<1—-ДА<1, 


其 中 А 是 某 一 常数 , 则 
вир [Ре (ж) — (x)| < 一 一 


ү 
从 而 
Ро{41 (Tnn) < 0 < 42(Т*,п)} = Po (и -Tr| < Ay И 
_ [Sn — 78] о 2 
— Рә! TIRT < | > [2Ф(А) – 1] Е 
说 入 是 满足 
| [2 更 (A) — 1] — < < Т; 


的 最 小 和 值 , 其 中 6* 是 给 定 的 显著 性 水 平 . 记 5 = e —2/(Аү/п), M 是 如 下 方程 


的 根 : 
Ф(А) =1 А 
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当 n КЕ, 可 以 忽略 项 2/( 和 Vn), АЖ А 满足 关系 式 
ИО 
ФА) =1- = 


例如 , А" = 3, Д] 1—6* = 0.9973... 因此 大 致 以 概率 0.9973, 有 


т; -3y E «ост, +3 EA, (8) 


而 经 达 代 和 忽略 量 级 为 О(п 3/1) 的 项 , 得 


[Tx* (1 — Ту ITO — Т 
Тя – 3З ЖАТ) срт; +3 (9) 


由 此 可 网, 对 于 充分 大 n 的 , 置信 区 间 


3 3 
| 
的 置信 度 为 0.9973, 然而 由 切 比 雪夫 不 等 式 得 到 的 置信 和 度 只 有 0.888 8. 

由 此 可 以 得 到 如 下 实用 的 结果 . 假如 进行 大 数量 М 系列 试验 , 每 系列 试验 根据 
п 次 观测 的 结果 估计 参数 ө. 那么 , 平均 在 97.33% 的 情形 下 , 每 一 系列 п 次 试验 , 信 
计量 与 参数 真 值 的 送别 不 大 于 3/(2Vn). (关于 这 一 结果 , 亦 可 参见 $5 的 末尾 .) 

3. 练习 题 

1. 假设 事先 已 知 参 数 9 在 Bo с [0,1] 中 取 值 . 说 明 何 时 对 于 只 在 9, 中 取 值 的 
参数 0 存在 无 偏 估 计 . 

2. 在 上 题 的 条 件 下 求 拉 奥 ~- 元 拉 默 不 等 式 , 并 讨论 估计 量 的 有 效 性 . 

3. 在 第 1 题 的 条 件 下 , 讨论 建立 9 的 置信 区 间 的 问题 . 

4. 在 82 第 5 题 的 条 件 下 , 假设 М» M,N >n, 讨论 估计 量 Л 的 无 偏 性 和 有 
效 性 . 建立 9 的 置信 区 间 (Ж, (8) RA (9) R), N 的 置信 区 间 IN -a(N),N +N), 
使 

PN Mn{N 一 а(№) < м < N +N} =1-а, 


其 中 a 是 某 一 较 小 的 数 . 
88. 关于 分 割 的 条 件 概率 与 条 件数 学 期 望 
1. 条 件 概率 ” 设 (0.8Р) 是 概率 空间 , 而 
Z = {D1,.…- ‚Дк 


Æ ж ЯЗ: Di e 2ё,Р(Р;) > 0,i = 1,…,k;Di 十 … 十 Dk = О. 其 次 , 设 事件 
A E€ Æ, 而 P(AID;) > 0, 是 事件 4 关于 事件 р, 的 条 件 概 率 . 


$8. ”关于 分 割 的 条 件 概率 与 条 件数 学 期 户 ,75 . 
一 组 条 件 概率 {P(4|D;),i = 1,… ,对 可 以 与 随机 变量 


k 
r(o) = DP(AID)ID. (w) (1) 


Ё$=1 


相 联 系 (与 84 (5) RE), Н r(w) 在 原子 р, 上 取 Р(А|Р;) ЖИ. 为 强调 r(w) 确 
实 与 此 分 割 多 相 联 系 , 将 其 记 作 


P(4| 多 ) 或 P(A 多 )(w), 


并 称 之 为 事件 4 关于 分 割 Я 的 条 件 概率 . 

这 一 概念 , 以 及 将 要 引进 的 关于 o 一 代数 的 条 件 概率 的 概念 , 在 概率 论 中 起 着 重 
要 的 作用 , 下 面 将 逐步 展开 叙述 . | 

条 件 概率 的 如 下 两 条 明确 的 性 质 : 


P(A + В|) = Р(4|27) + Р(В|); = (2) 
如 果 多 ERE Q 中 一 个 集合 的 平凡 分 割 , 则 
P(4| 今 ) = P(A). (3) 


把 条 件 概率 PAZ) 定义 为 随机 变量 , 就 可 以 考虑 其 数学 期 望 , 利用 数学 期 望 
可 以 用 如 下 紧凑 的 形式 将 83 中 全 概率 公式 (3) 写成 : 


ЕР(А|27) = P(A). (4) 


事实 上 , 由 于 | 
Р(А|#/)(ш) = У P(A|D;)ID,(w), 


+ 二 1 


则 根据 数学 期 望 的 定义 (М 54 (5) 和 (6) =), 有 


k k 
ЕР(А|@) = > P(A|D:)P(D:) = >_ P(AD:;) = P(A). 


$=1 (=l 


现在 , & п = 7(w) 是 以 大 于 0 的 概率 取 y,- ,wr 为 值 的 随机 变量 : 
k 
7ш) = У ур, (ш), 
| 7 二 1 
其 中 Р; = {w :т(ш) = у;}. 分 割 2, = { Dı, , 2%} 称 做 随机 变量 п 诱导 的 分 割 . 


条 件 概率 P(4| 钨 )) 或 P(4| 多 )(w) 称 做 事件 4 关于 随机 变量 n 的 条 件 概率 . 我 们 
把 P(Aln = у;) 也 理解 为 条 件 概 率 P(AID;), 其 中 Di = {w :т(ш) = у}. 
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类 似 地 ， + 71,772, s. sm 是 随机 变量 ， 而 D man, Nm 是 诱导 的 以 
Бу, уз, ут — {w - 771 = 91,172 = у2, im = Ym} 


为 原子 的 分 割 , 则 P(A 9, т, ... п) WE P(A, n ,mm), 并 称 为 事件 4 关于 
随机 变量 m,n ,Tm 的 条 件 概率 . 

例 1 设 上 和 7 是 两 个 独立 同 分 布 随机 变量 , 分 别 以 概率 p 和 g 取 1 和 0 为 
值 . 对 于 = 0,1,2, 我 们 现在 求 事 件 4 = {w :e+7= КИЕ = 0,1,2) 关于 7 的 条 件 
概率 Р(А|). 

为 此 , 首先 注意 到 有 用 的 一 般 事实 : ШЖ © 和 7 是 两 个 独立 随机 变量 ， 则 当 
P{n =y} >08}, 有 


P{§ +7 = 20 = у} = Р4{6+у= 2}. (5) 
FEE, 
Р(е+те ате) = РЕНН L eann 
_ РА + у= РУ} _ _, 
р Р{7 =y} Ру = 2). 


由 此 公式 , 可 见 
P(A|n)(w) = P(E +n = k|n)(w) 
= P(E+7n = k|n = 0) —оу(ш) + Р(Е +7 = Ат = 1MHin=1} (6) 
— P(E — Е) 103 (ш) + P(E 一 大 一 Пи} (w). 


于 是 
gi{n=0} (ш), + К = 0, 
P(E +n = К) (6) = $ РЦи-0} (w) +аЦи=ц(@&), Ж К=1, (6) 
Plin=1} (w), $r k = 2, 
或 同样 地 
4(1 7 1), Е Е = 0, 
Р(& +17 = 1) = $ р(1— т) + т, E k=l, (7) 
рп, Ё К = 2. 


2. ЖОРА H с tl(w) 是 随机 变量 , HERA = {r1 ,zx1}: 


l 
E= 》 хуГА,, А; = {w: E = ту}, 
j=1 
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№ 多 = {D1,… Di) ERNIE. 曾经 定义 了 六 з (8) Е 
于 概率 P(4;)(i = 1,… ,1) 的 数学 期 望 : 


| (3.1) 
8) (10) 


P(-|D) —————— ЕС&|р) 


{ 
1=1 


自然 类 似 地 利用 概率 P(4 |Z), 定义 随机 变量 & 关于 | а) an 
分 割 @ 的 条 件数 学 期 望 , 记 作 EEZ) R EEZ) w): ©) 
| Р(.|7)) ————— Е(|2) 


{ 
EEIZ) = У турР(А;|®). (9) б 
| j=1 
根据 这 一 定义 , 条 件数 学 期 望 E(&| 多 )(w) 是 一 随机 变量 , 对 于 属于 同一 原子 Р, 
的 基本 事件 w, 取 同 一 个 值 | 
У = Р(АЯБЬ. | 
ј=1 


这 一 事实 说 明 , 可 以 由 另 一 途径 定义 条 件数 学 期 望 . 具体 地 说 , 首先 由 公式 
Е(ЕТь.) 
Е(&0р;) = > _ 7;P(Aj|ID;) |= 7 (10 
2- АИ | P(D:;) ) | 
定义 随机 变量 с 关于 事件 р, 的 条 件数 学 期 望 , 然后 按 定义 设 


{ 
EEZ) (w) = 》 E(é|D;)ID,(w) (11) 
1-=1 
(参见 流程 图 14). 
ЕЖ, E(E1D) 和 EEZ (0) 的 值 与 随机 变量 上 的 表示 方法 无 关 . 
下 面 指出 的 条 件数 学 期 望 的 性 质 , 可 以 直接 由 其 定义 得 到 : 


Е (а + b| Z) = аЕ(|2) + ЬЕ(т)| Z) (a,b 是 常数 ); (12) 
Е(&2) = E£; (13) 
Е(С| 57) =C, C 是 常数 . (14) 


如 果 & = ГА(ш), № 
EEZ) = Р(А|8). (15) 


其 中 , 最 后 一 条 性 质 表 明 , 由 条 件数 学 期 望 的 性 质 , 可 以 直接 得 出 条 件 概率 的 性 质 . 
及 一 重要 的 性 质 是 全 概 幸 公式 (4) 的 推广 : 


EE(E| Z) = E£. (16) 
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为 证 明 此 式 , 只 需 注意 到 , 由 (4) 式 , 可 见 . 


! l { 
ЕЕ(&|@)=ЕЎУ :;Р(4127) = ЕУ т;ЕР(А,|@)=у тур(А,) = E£. 


7 一 了 7 二 1 7 一 1 
设 9 = {D1,… ,Dx} 是 某 个 分 割 , 而 n = по) 是 某 一 随机 变量 . 我 们 称 随 机 
变量 关于 此 分 割 为 可 测 的 或 多-- 可 测 的 , 如 果 Z, < 0, В = т(ш) 可 以 表示 为 
k 
w) = $ vip: (и), 


其 中 有 些 y 值 可 能 相等 . 换 名 话说 , 随机 变量 и 为 2- 可 测 的 , 当 且 仅 当 它 在 分 割 
@ 的 原子 上 取 常 数值 . 

例 2 ” 如果 多 为 平凡 分 割 : 9 = (0), 则 随机 变量 n 为 Z2- 可 测 的 , 当 且 仅 当 
7 三 С, 其 中 С 为 常数 . 任何 随机 变量 ” 关于 分 割 9, - 可 测 . 


假设 随机 变量 7 为 多 一 可 测 , 那么 
Е (21197) = 7nE(EY), (17) 


特别 
EZ) = п (EZ) = п). (18) 


为 证 明 (17) 式 注 意 到 , 如 果 
і 
& = У 2;14,, А; = {w:ţE =r} 
j=1 


则 


Вр 


Е (|9) = 人 和 onP(4 р) = УСУ тун у P(A;Di|Dm)Ip,, (ш) 


7 一 1 $=1 j=1 i=l 


l 
У ив (A; Di|Di)Ip, (w -和 oo (A;|Di)Ip,(w). (19) 


7 一 1 ?一 | 7=1 $=1 
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另 一 方面 , 考虑 到 15 = Ip, 和 1p,1p,, = 0,4 # т, 有 


| 
= 


j=l 


k { 
ы») х У? X 75) х Тр. (w) 


1 


sa ьо) ене: 
| 


тъ=1 


k l 
= 2, 2 nPI A; D: )Тр, (ш (w ), 
i=l 


j=1 


于 是 , (19) R5 (17) 式 一 同 得 证 . 
我 们 再 证 明 条 件数 学 期 望 一 条 重要 性 质 . 设 9, 和 9. ВАЛУ Н %, < 
Pa (ЛЕ 9, Е Z “Я /^). ЖА, “дд” Е: 


ЕЕ (817 2) 1] = Е(&| 87). (20) 


为 证 明 (20) I, 10 YI 一 {0}, -·· , Dim}, 222 — {D21,*…- ‚ эп}. ЖА, т 


l 
ч — У 2314, 


j=l 


则 
| 
Е (|875) = у rjP(AjlD,), 
9=1 
ВАЖЕН 
Е[Р(4;12)12.] = Р(А; 8). (2) 
由 于 


Р(А,;| 82) = У P(A;|D2g)1p,,, 


9=1 
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则 


Е[Р(А; 8) 1] = > Р(АЯР)Р(Р 8 1) 


4=1 


— >》 P(A;| D4) 


q=1 


= У Ip, > Р(АЯБэа)Р(Бэ Гр) 


р=1 а=1 


=» №, У. Р(АЯБа)Р (РГ) 
р=1 | 


{9:D2a C Dip} 


т 
— 2. 1р\ур 


{q: D24C Dip} 


— Ур А; Р) = Р(А; 81), 


У; Р(Р›, рь, 


р=1 


Р(Ау Эӊ) „ Ра) 
P(Da)  P(Dip) 


于 是 , (21) АЕ. 

假如 分 割 多 是 由 随机 变量 m, ,ni 诱导 的 (多 = 07... m) 则 条 件数 学 期 望 
Е(&|Ф m, п.) 称 做 随机 变量 & ХТ, ,mx 的 条 件数 学 期 望 , 记 作 Elém,- пе) 
或 Е(Ети, >: ль) (о). | 

直接 由 Е(&п) 的 定义 可 见 , ЧИЖ © ЯП 独立 , 则 


E(éln) = Е. (22) 
ЕН (18) 式 , 可 见 
E(nin) = n: (23) 


性 质 (22) 有 如 下 推广 . 设 随 机 变量 с 与 分 割 @ 独立 ( 即 对 于 任意 D; с 27, 随 
机 变量 < 与 Гь, 独立 ). ЖД, 


Е(&|) = ЕЁ. (24) 
作为 特殊 情形 , 由 (20) 式 , 可 以 得 到 如 下 有 用 的 公式 : 
Е[Е(& 71, 72} 71| = Elém). (25) 


Из 对 于 例 1 中 的 随机 变量 上 Мл, Ж El + пп). 由 (22) AM (23) А, 有 
Е(© +17) = ЕёЁ+т=р-+Е1). 


由 (8) 式 亦 可 得 到 此 结果 : 


2 
Е(Е + nin) = у kP(E +n = kin) = р(1 — п) + ап+2рп =p+n. 
k=0 
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а 设 上 和 7 是 独立 同 分 布 随机 变量 , 验证 ， 


P(Elé + п) = Elle + n) = HE. | (26) 


事实 上 , 为 简便 计 , 假设 ec 和 了 取 1, 2…… m 为 值 ; УР 1<Е<т,2<1<2т, 有 


соса РЕБЕ Ріко 
ТО DEn T ЕТЕТ 
рце ЮР ГВ _ Р{у ЮРЕ 
Р{& +7 = 1} Р{& +1 = 1} 


= P(n = k| +n = 0). 
从 而 (26) 的 第 一 个 等 式 得 证 . 为 证 明 第 二 个 等 式 , 只 需 注 意 到 , 由 于 上 和 7 同 分 布 ， 
2Е (Е +) = Е( +n) + Е +n) = Е( +24 +7) = +1. 


3. ХТ Е(4 |) 和 EEZ) 在 81 曾 指 出 , 有 限 集合 О 的 每 一 个 分 割 = 
{D1,… , Dk} 对 应 着 О 子 集 的 一 个 代数 a2). 恰好 相反 , 有 限 空 间 О 的 任何 代数 
Я 可 以 由 某 一 个 分 割 多 派生 : .多 = о(8). 因此 在 有 限 空 间 О 的 任何 代数 与 分 割 
之 间 存 在 一 一 对 应 关系 . 这 一 事实 是 指 , 以 后 将 引进 的 关于 特殊 集 系 (с- 代数 ) 的 条 
件数 学 期 望 的 概念 . | 

对 于 有 限 空间 , 代数 和 o- 代数 的 概念 完全 相同 . 在 这 种 情形 下 , 如 果 .多 ER 
Ж, 则 以 后 (在 第 二 章 87) 引进 的 随机 变量 < 关于 代数 .多 的 条 件数 学 期 望 EEL), 
干脆 与 EEZ) 一 致 , 其 中 EEZ) Æ с РЯ ® ( 即 关于 o- 代数 .多 = a( 多 )) 
的 条 件数 学 期 望 . 实际 上 , 对 于 有 限 空间 , 我 们 以 后 不 再 区 分 EEL) 和 EEZ): A 
为 EEB) 按 定义 就 是 EEZ). 

4. 练习 题 

1. 试 举 一 例 : 随机 变量 Е 和 7 不 独立 , 但 是 


Е(&|) = Её. 
(与 命题 (22) УЖ.) 
2. 随机 变量 
0(512) = Е {Е — 8 (48) "|8 } 
称 做 关于 分 割 多 的 条 件 方差 . 
证 明 方 差 


Dé = ЕР(&|@) + РЕ). 
3. 基于 (17) R, 证 明 : 对 于 任意 函数 = f(m), 条 件数 学 期 望 具有 如 下 性 质 


Е (п)Е(&т)] = ВЕ} (n). 
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4. БЕЖ 是 随机 变量 . 证 明 
inf E[n — КЕ. 


在 函数 fE = Elni 上 达到 下 确 界 , 即 条 件数 学 期 望 Elni), 在 均 方 意义 下 是 7 对 
E 的 最 优 估 计量 . 

5. Ж &, ,&,T ЕЖУ ша,..., & 同 分 布 , Н т 的 可 能 值 为 
1,2,--- ‚п. МЕНН, 对 于 随机 个 随机 变量 之 和 S; =& +... +&, A 


E(S |r) = 7Eé1, D(S717) = т О, 


和 
ES, = Ет x Её, DS, = Er x рё + От x (Е&,)?. 


6. 证 明 等 式 (24). 


69. 随机 游 动 1. 掷 硬币 博弈 的 破产 概率 和 平均 持续 时 间 


1. 关于 随机 游 动 ”在 86 中 证 明 的 伯 努 利 概 型 的 极限 定理 , 远 远 不 只 是 给 出 了 
计算 概率 P{5; =k} 和 P{4 < Sn < В} 的 方便 公式 . 其 意义 还 在 于 , 这 些 定理 具有 
适合 多 方面 应 用 的 特点 , 也 就 是 说 , 这 些 定理 不 仅 适 用 于 只 有 两 个 可 能 值 的 伯 努 利 
随机 变量 &,,&,..., 而 且 适 用 于 更 为 一 般 来 源 的 随机 变量 . 因此 , 伯 努 利 概 型 作为 一 
种 简单 的 模型 , 可 以 导出 很 多 更 为 一 般 模 型 所 固有 的 许多 概率 规律 性 . 

在 这 一 节 和 下 一 节 , 将 研究 一 系列 新 的 概率 规律 性 ， 有些 甚至 带 有 非常 不 可 预 
WURA. 全 部 研究 仍然 局 限于 由 伯 努 利 概 型 所 描绘 的 随机 游 动 , 不 过 许多 结论 对 
于 更 一 般 情 形 的 随机 游 动 仍然 成 立 . 

2. 二 人 博弈 和 破产 概率 ”考虑 伯 努 利 概 型 : (2,28, P), 其 中 


Q ={ш:ш = (T1, Enh Ti=+tl}, = {А: ACQ} 


(о) пт (о Ti tn 
PWH spg, vu) = Я, 


其 中 6 是 Q 的 一 切 子 集 的 集 系 . 设 &(w) = zi(i = 4，… ,nn), 则 E ,bn 是 独立 
伯 努 利 随 机 变量 序列 


P{&=1}=p, P{&=-1}=q, p+q=1. 


H 50 = 0, Sk = & +... +21 Sk Sn. FFIR (5,)ьсь 可 以 视 为 由 0 出 发 的 某 
“质点 ”随机 游 动 的 轨道 . 这 时 т = Sk + Ёрл, АЖА Е k 时 在 点 Sk, WF 
Е+1 时 质点 或 者 以 概率 p 向 上 移动 一 步 , 或 者 以 概率 о 向 下 移动 一 步 . 

& АМ В(А<0< В) 是 两 个 整数 . 与 所 考虑 的 随机 游 动 相 联 系 的 有 趣 的 问题 
< ЈЕ, 随机 游 动 的 质点 经 n 步 越 出 区 间 (А, В) 的 概率 如 何 ? 同样 有 趣 的 问题 是 ， 
经 п FEA А 或 点 В 越 出 区 间 (А, В) 的 概率 如 何 ? 
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如 果 用 博弈 来 说 明 , 则 该 问题 的 自然 性 就 显得 格外 清楚 . 假设 有 两 人 PAZ) 
对 弈 , 开始 他 们 的 “ 赌 金 ”相等 , 分 别 为 (A) 和 В.  & = +1, 则 认为 乙 付 给 甲 一 
单位 赌 金 ; 车 上 = -1, 则 相反 甲 付 给 乙 一 单位 赌 金 . 那么 , Sk = & +... +& 表示 经 
к 局 甲 赢得 乙 的 数额 (S. < 0 实际 上 表示 甲 输 给 乙 的 数额 ). 

TE k < n 时 , 即 当 首 次 S = В(5, = А) 时 , Z (F) 的 赌 金成 为 0, 即 出 现 乙 
(F) 破产 . (如 果 Е < т, 则 应 该 认为 在 时 刻 上 对弈 停止 , 尽管 在 n 时 前 包括 n 时 游 
动 是 确定 的 .) 

在 给 出 问题 的 确切 表述 之 前 , 首先 引进 一 系列 记号 . 

W z 是 区 间 [А,В] 上 的 整数 , MAF 0 <k <n, B SE = + Sk 


тр = min{0 < l< k: SF = АВВ}, (1) 


其 中 约定 : 如 果 对 于 一 切 0 <1< К, H A< 52 < В, МАЯ TE = К. 
对 于 每 一 个 0 < ksn zeA, B], В) тг 称 做 停止 时 间 ( 见 511), 是 一 定义 
在 基本 事件 空间 о 上 的 整数 值 随机 变量 (注意 , 没有 明显 地 标 出 гр 依赖 于 w). 
显然 , 对 于 一 切 ! < k, 集合 {тё = Ц 是 一 事件 : “于 0 时 始 于 点 x 的 随 
机 游 动 {52:0 <i < А}, 于 时 越 出 区 间 (A,B. 同样 显然 , 对 于 ! < к, 集合 
{[w: 7f =1,57 = A} 5 {w :77 =1, Sf = В} 是 事件 “ 游 动 的 质点 于 1! 时 相应 地 在 点 
А 和 В 越 出 区 间 (А, В)”. 
对 于 一 切 0<k<n, 设 | 
A= X {w:ir =l, Sf = А}, (2) 
OSISk 
Я = у {о:тр =l, S? =B} 
OSISk 
且 设 
| arla) = Р(26,), (т) = Р(,) 
是 经 时 间 段 [0, К) 分别 于 点 4 和 В 处 越 出 区 闻 (А, В) 的 概率 . 对 于 这 些 概 率 可 以 
得 到 递 推 关系 式 , 并 由 此 依次 求 出 о (т), anl) Я В: (х), - +: ‚ В» (т). 
这 样 , R 4<z < В. 显然 alr) = В (т) =0. 设 1<k<n, 那么 由 83,(3) А. 


有 
| Br(z) = Р(-,) 

= P(B [57 =x + ПР{& = 1} + Р(|51 = т – 1)P{& = -1} 

= pP( BIST = = +1) +4Р(.8% 57 = т 1). (3) 
现在 证 明 


Р(.8 |5? =х-+1) =Р(.9%11), Р(4 5? = т 1) = P(B). 
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为 此 注意 到 , 集合 B, 可 以 表示 为 
B= {w: (x, +E, ,T+ +) є BEY, 
其 中 В; 是 形 如 
(£,£ +21, +: +. к), 1: = +1 


轨道 的 集合 , 这 样 的 轨道 是 在 时 段 [0,К] 内 , 在 点 
В 首次 越 出 区 间 (А, В) (МЕ 15). 

把 集合 В: RRA BET + В", Е 
Вр! 和 Вк” Æ Bx 中 分 别 对 应 于 ту = +1 
和 zl = 一 1 轨道 . 

易 见 , BEH 中 的 每 一 条 轨道 与 轨道 


(т,т+11+1+12,...,5+1+412+...+ 1%), 


一 一 对 应 . 对 于 BETI 的 轨道 , 也 有 同样 的 性 质 
由 于 这 一 性 质 , 以 及 随机 变量 £1 …… ‚с, 独立 同 分 
布 和 88 式 (6), 有 图 15 в= 轨道 的 例 


Р(.8, 57 =x +1) =Р(& = 1) 
= P{(x,£ + £1, £ +E + + êk) E€ В| = 1} 
= P{(x +1,£ +1 +ê- ‚+162 +... +) Е В 
= Р{(%+1=%+1+а,-..,2+1+4& +... +&_1) є ВЁ}} 
= Р(.9 |). 
同样 地 
Р(.@°|5= =т-1) = P(T). 
因此 , 对 于 ze (А, В) Я k <n, 由 (3) R, 有 


Вк(т) = рбь-1(2 + 1) + @8к—1(ж — 1), (4) 
其 中 
p(B)=1, ВКА) =0, О<1< п. (5) 
同 理 
ок (т) = раь-1(2 + 1) 十 gak-i(Z 一 1)， (6) 
其 中 
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由 于 ao(z) = 4% (1) = 0,т є (А, В), 则 所 得 递 推 公 式 可 以 (至 少 原 则 上 可 以 ) 用 
来 求 概 率 a(z), `` ,On (了 ) 和 (т), Е ‚ Bn (2). 暂时 不 作 具 体 计 算 ， 而 考虑 当 п 充 
分 大 时 这 些 概 率 的 值 的 问题 . | 

为 此 注意 到 , 由 于 -Bi С.Я, К <n, М k-i) < 8.(х) < 1. 因此 上 自然 想 
到 (实际 上 确实 是 这 样 , 见 下 面 第 3 小 节 ), Ч ”充分 大 时 概率 В, (х) 接近 如 下 方程 


б\т) = pplz +1) + gph — 1), (7) 
ВЕН (4) 和 (5) 两 式 求 极 限 所 得 的 边界 条 件 : 
В(В) = 1, В(А) = 0. (8) 


为 求解 问题 (7) 和 (8), 首先 假设 ру д. 不 难看 到 , 所 考虑 的 方程 有 两 个 特 解 : a 
和 5(а/р)т, 其 中 a Ab 是 常数 . 因此 , 我 们 以 如 下 形式 求 通 解 6(z): 


plx) = а + 5(9/р)?. (9) 
考虑 到 (8) 式 , XF- А<е< в, Ч 


_ (9/р)* — (а/р)* 
В(=) = (а/р)8 ~ (а/р)^` по, 


现在 证 明 这 是 该 问题 的 唯一 解 . 为 此 , 只 需 证 明 , 问题 (7) 和 (8) 式 的 一 切 解 都 
可 以 表示 为 (9) 的 形式 . | 

设 6(z) 是 满足 BA) = 0,6(B) = 1 的 某 个 解 . AFERA а ЖП}, 使 

а+5(4/р)^ = B(A), &+Б(а/р)^*! = В(А +1). 
因此 由 方程 (7) 可 见 
B(A+2) =й + Ба/р)^+2, 

且 一 般 
Plz) = &-+ 6(9/р)?. 
于 是 , 所 求 得 的 解 (10) 是 所 考虑 问题 的 唯一 解 . 

由 类 似 的 讨论 可 见 , 方程 


a(x) = pa(z+1)+aa(z – 1), хє (А, В) (11) 
MERRI 
a(A)=1, а(В)=0 (12) 
的 唯一 解 是 | 
(2) = ХР) —(4/Р)” <2<В. (13) 


(a/p) ~ (а/р)^' 
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假如 p =q = 1/2, 则 问题 (7),(8) 和 (11),(12) 唯一 解 8(z) 和 alx) 相应 为 : 


Z 一 4 
plr) = = (14) 
和 加 
ca(Z) = 万 一 下 (15) 
注意 , 对 于 任意 0<р<1, 
czZ) + В(т) = 1. (16) 


假如 对 局 二 人 甲 和 乙 的 最 初 的 “ 财 金 ”分别 为 zx АЖ B-r, 对 于 无 限 多 局 的 
АГ, HE a(x) 和 bic) 相应 地 称 做 对 局 二 人 甲 和 乙 的 破产 概率 , 当然 应 假定 存在 
无 限 独 立 人 努 利 随 机 变量 序列 с, &,..., 其 中 ©, = +1 表示 甲 赢 , 而 Е, = -1 表示 甲 
输 . 为 在 本 小 节 开 始 考虑 的 概率 空间 (Q, .名 ,P) E, 存在 上 述 独 立 伯 努 利 随 机 变量 序 
J, (0,.2,Р) PAR “BZ”. 以 后 (第 二 章 89) 我 们 会 看 到 , 确实 可 以 建立 这 样 的 
无 限 序列 , 而 且 alx) 和 5(z) 确实 是 在 无 限 多 步 破 产 的 概率 . 

现在 讨论 由 这 些 公式 得 到 的 一 系列 推论 . 

如 果 设 4 = 0,0 < rz < В, 则 函数 В(=) 按 其 本 来 № 
ВУХ, 是 自 状 态 z 出 发 的 质点 在 到 达 0 点 之 前 到 达 点 
В 的 概率 . 由 (10) 和 (14) А, 可 见 (图 16): 


| 
| 
| 
| 
| 
| 
| 
| 
| 
В 


gt (we 若 p=g= 1/2, 
т) = 4 (gq/p)*—1 (17) 
(q/p)” —1 pte 
其 次 , 假设 不 等 式 а > р 成 立 , 即 对 于 甲 是 不 利 博 
| | | 图 16 (х) 的 图 形 
Ж, 其 破产 的 极限 概率 a(0) X: а) 是 当 质点 В 自 点 ”出 发 时 
(а/р)” — 1 于 点 0 到 达 点 B КИ 


© ав — (аю)? 


现在 假设 对 奔 条 件 有 如 下 变化 : 甲 和 乙 的 赌资 仍然 是 (-А) 和 В, 但 是 现在 每 人 
文 付 的 金额 为 1/2 单位 , 而 不 是 以 前 的 1 单位 . 换 句 话说, 现在 假设 P{e; = 1/2} = 
р, Р{&; = 一 1/2} = q. 这 时 , НЫ озо 表示 甲 破产 的 概率 , 则 


а 097)? – 1 
М2 (9/р)28 — (а/р)?А' 


因此 , ШЖ g > р, № 
(«/р) +1 、 
(я/р)” + (а/р)^ 
由 此 得 出 结论 : 如 果 对 弈 对 于 甲 不 利 ( 即 g р), 则 增加 一 倍 赌 金 可 以 减 小 他 破 
产 的 概率 . 


01/2 = ах 
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3. an(z) 和 6,(x) ШТ alx) 和 6(z) 的 速度 ”现在 讨论 о. (х) М В, (т) К 
ATRE alx) 和 B(x) 的 速度 问题 . 为 简便 计 , 假设 x = 0, w 


Cn = Qn (0), Pn = Øn (0), п =1- (an 十 Bn). 


Yn = Р{А < Sk < B,0 Sk <n}, 


其 中 {A < Sk < B,0 < k < n} 就 是 事件 


Г) {4 < Sr < B}. 


О5А<п 
Ёл =гт, ЕН r Ж m 是 整数 ; 设 


C1 = E1 + `` Em, 
(2 = Em+1 十 … + Em, 


ъ è З по a + в в в я 


Cr = Em(r_1)+1 Heee бт. 
ЖА, 设 C |А +в, 易 见 
{А < Sk < В, 1 << т} С |< 0С, || < С}, 


因此 由 随机 变量 41,… ‚с. 独立 同 分 布 , 可 见 


ж» *Р{|бз| < C, Gl < C} = [| P{&] < C} = (Р < Ср)". (18) 


i=1 
注意 到 Dl = т11 – (p — д)?], 因此 当 0 < p< 1 В, 对 于 充分 大 的 т, 有 


Р{|<1| < C} < е, (19) 


其 中 =; < 1, 因为 假如 Р{|<1| < С} = 1, А DG < С?. 

假如 p = 0 或 1, 则 对 于 充分 大 的 т, 概率 РЦ | < С} = 0, 从 而 对 于 一 切 
0<р<1, (19) 式 成 立 . 

由 (18) 和 (19) AA, 可 见 对 于 充分 大 的 п, 


Yn < Е", (20) 


H ===!" < 1. 
由 (16) 式 , «+ В =1. 因此 


(а — an) + (8 – Bn) = Yn 
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而 因为 о Z аһ, 8 Z Bn, 所 以 


О<а- аһ < < &", 
0<В- 8, < Yn <=”, 


KP = < 1. 对 于 a(z) — a(r) 和 Д(т) — В, (т) 有 类 似 的 估计 . 

4. 平均 游 动 时 间 “现在 讨论 平均 随机 游 动 时 间 ， 

B rmk(z) = Етг 是 停止 时 间 тг, (к < п) 的 数学 期 望 . 仿照 推导 b) ВЖЕ 
公式 的 方法 , 对 于 ze (А, В), 得 


mk(Z) = Втр = У 1Р{тё=1} 


1<l<k 


= У ipP{7F = Ца, = 1} +аР4т# = Ца = -1} 
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= У lpP{reti = 1} +аР4т21=1-1} 


1</<А 
У (1+1)16Р{т21 =l} +аР{ = 1 
0<1<К—1 
= ртк—1(® + 1)-+чтк—_1(ж—1) 
+ >》 [рР{т р =1}+‹4Р{т у =} 
О<!<К—1 
= ртк-1(® + 1) + @тк-_1(х — 1) +1. 


于 是 , УТ тхє(А,В)Ш0<К<п, ИЖ mir) 满足 递 推 关系 式 : 


mk(z) = 1 + ртк—1(ш +1) +ать_1(2— 1) (21) 
其 中 rno(z) = 0. 由 这 些 方 程 连同 边界 条 件 
mi(A) = т.(В) = 0, (22) 


可 以 依次 求 出 ri(z)…… т. (2). 
由 于 тк(т) < ть (х), 可 见 存在 极限 


m(x) = „Ши. mn (ZX), 
由 (21) 式 知 m(zx) 满足 方程 
m(x) 一 1 十 prmZ 十 1) 十 drm(z – 1) (23) 


和 边界 条 件 
т(А) = т(В) = 0. (24) 
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为 求 该 方程 的 解 , 首先 假设 
т(х) < оо,х є (А, В). (25) 
_ ЖА, WR р 2 а, 则 特 解 的 形式 为 z/(q — р), 而 通 解 ( 见 (9) R) TURRA: 
m(x) = toate(s) | 
由 此 并 考虑 到 边界 条 件 т(А) = т(В) = 0, 即 可 求 出 
m(x) = — [В 8(2) + Аа(т) -可 (26) 
其 中 p(x) 和 а(х) 由 (10) 和 (13) 两 式 决定 . WR р=а= 1/2, WAF (23) 的 通 解 
形 如 
т(х) = а + вх – 27, 
因此 , 由 于 边界 条 件 m(4) = т(В) = 0, 可 见 
т(2) = (B — т)(х — А). (27) 
特别 , 由 此 可 见 , 如 果 对 弈 二 人 的 初始 赌 金 相 等 : В = A, 则 
m(0) = В“. 


假设 В = 10 且 每 秒 一 局 , 那么 某 一 对 手 破 产 前 的 (极限 ) 平均 时 间 相 当 长 : 等 于 100 
秒 . 

RA (26) 和 (27) 是 在 假设 пит) < oo,z € (А, В) 的 条 件 下 得 到 的 , 现在 证 明 ， 
实际 上 mr) 对 于 一 切 те (А, B) AR. 我 们 只 限于 讨论 xz = 0 的 情形 . 一 般 情形 可 
以 类 似 地 证 上 明 . | 

Е p =q = 1/2. 将 数列 So, 51,.--,5, 与 停止 时 间 т, = то, 由 随机 变量 5, = 
Sr (w) 联系 在 一 起 , 其 中 


Sr, (w) = 》 Sk(w Tr к} (м). (28) 


随机 变量 S. 的 直观 意义 是 清楚 的 : 它 是 随机 游 动 在 停止 时 刻 т, КИН. 这 时 ， 
假如 т, < n, 5, = АЖ В; ШИ т, = п, M A< S, < В. 
现在 证 明 , 对 于 р=а= 1/2, 有 
Е5т, = 0, (29) 
ES? = Ета. (30) 
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为 证 明 (29) 式 , 注意 到 


ES? = у Е[5,Д,,-к}()| 


k=0 
= У Е[5.1.,-к}(0)) + УЕ ~ Snir =w) 
k=0 k=0 
= ESn +» Е[($% — $») Ци. =r} (w), (31) 
k=0 


其 中 显然 ES, = 0. 现在 证 明 
УЕ[(5, — 5.) Ц, —ьу(ш)] = 0. 
k=0 
УРо< <», A {Tn >k} ={А< 5, < В,...,А < Sk < В}. 事件 
{w: А < 51 < B,- , A< Sk < В} 
显然 可 以 表示 为 
{ш: (4, , Ek ) E Ак}, (32) 
其 中 А, 是 集合 {一 1, 十 1}* ОЕ. АЛЕ, 这 是 一 个 只 决定 于 随机 变量 
561,… ,Ek КАН, 而 不 依赖 于 随机 变量 & 1,… En 值 的 集合 . 由 于 集合 
{тъ = k} = {т>А-1\{т > k}, 
可 见 它 也 是 形 如 (32) 的 集合 . 由 于 随机 变量 &,,... с. 的 独立 , 以 及 由 54 的 练习 题 
10 可 见 , 对 于 任意 0 < < п, 随机 变量 5, — 5 和 Д, рр 独立 , 从 而 
El(S,, 一 Sk irn к}. + Е 5$» — Sk] х Elt =k} = 0. 


FÆ (29) 式 得 证 . 
同样 可 以 证 明 (30) 式 : 


Е5 = у Е. = > E{[Sn + (Sk — Sn) Irk} 
k=0 k=0 


n 
一 У ЕЁ, к} + 2ESn, (Sk 一 Snir =k} +E(Sn 一 Sk) Iira =] 
k=0 


= Е52 — У Е(5, – Sk) limk} = п – У (п – ЮР т, = k} 
k=0 k=0 


= 》_kP{m = Е} = Em. 
k=0 
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FÆ, 对 于 p = а = 1/2, АЖ (29) 和 (30) 得 证 . 对 于 任意 p,g(p +g = 1) 的 情 
Ж, 类 似 地 可 以 证 明 : | 


Е5, = (р-а)Еть, (33) 
E[S, — Tn E£]? = DE: X ЕТ, (34) 


Ж Eé =р- 4,06 =1- (р- 9)?. 
现在 利用 得 到 的 关系 式 , 证 明 


lim mn(0) = т(0) < оо. 


X F р=а=1/2, 由 (30) 式 , 有 


Ет, < max{ А*, В?}. (35) 
ШЖ ру д, 则 由 (33) А, 有 
к’ < {Al B} (36) 
т р-а | 


由 此 可 见 m(0) < оо. 
还 要 指出 , 对 于 p =q = 1/2, 有 


Ет, = ES? = Аа, 十 В? В, 十 Е [5 Как, < в} Ц, =п)), 


因此 
A an + ВВ, < Ет, < Аа, + В?В, + тах{А?, В?} х Yn. 


由 此 及 不 等 式 (20) 可 见 , 当 п 一 оо 时 数学 期 望 Ет. 以 指数 的 速度 收敛 于 极限 值 : 


т(0) = А?а + В?°3 = А? х = — В? х = = |АВ|. 
对 于 р 94, 有 类 似 的 结果 Ет, 以 指数 的 速度 收敛 于 极限 值 : 
Er, + т(0) = 22528. 
р 9 


5. 练习 题 
1. 证 明 (33) 和 (34) 式 的 推广 , 下 列 公式 成 立 : 


ESF- = х= + (р – gq) Er, 
Е[57, — ттЕ&1|2 一 Оё, x Er? + т?. 


2. 讨论 当 水 平 | -oo 时 , а(х), 8(z) 和 тх) 趋向 何 量 的 问题 . 
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3. 假设 伯 努 利 概 型 中 p = = 1/2, HB n 充分 大 时 Е|5„| 是 何 数量 级 ? 
4. 甲乙 二 人 各 自 独立 地 掷 一 枚 对 称 的 硬币 ， 证明, ЕП ЖИН п 次 , СЛ 
正面 的 次 数 相同 的 概率 为 | 
зл Ук)? 
k=0 


并 由 此 导出 恒等式 ( 亦 见 82 练习 题 4) 
уск) = С. 
k=0 
Ў on 表示 时 刻 : 对 手 甲 和 乙 首 次 各 自 掷 出 正面 的 次 数 相等 (车 这 样 的 时 刻 不 存 
ТЕ, MS on = п + 1). 求 数学 期 望 E minon, n}. 
510. 随机 游 动 П. 反射 原理 . 反正 弦 定 律 


1. дева 0 的 时 间 像 上 一 节 一 样 , 假设 6 ,… Со 是 独立 同 分 布 伯 
努 利 随机 变量 序列 , 且 


Р{&=1}=р, Р{& = -1} =q, 
Sk =&+:..+&, 1532 < 50 = 0. 
记 
то» = min{l <К<2п: Sk = 0}, 


对 于 一 切 1 << 2n, Æ 5, #0, WI ор = оо. 

Ш о. 的 直观 含义 十 分 清楚 : 它 是 首次 返回 0 的 时 刻 . 这 一 节 将 要 研究 首次 返 
[8] 0 的 时 刻 oz 的 性 质 , 这 时 假设 所 考虑 的 随机 游 动 对 称 , 即 p= = 1/2. 

对 于 0 去 大 入 2mn, 记 


иок = Р{52к =0}, fok = P{o2n = 2k}. (1) 


显然 , uo = 1 而 


иок = С, 35k 
我 们 最 近 的 目标 是 证 明 , 对 于 1<К<п 概率 决定 于 公式 : 
1 
Рк = zj “2(k-1) (2) 
易 见 , 对 于 1<k<n, 有 


{тол = 2k} = {51 Æ 0,:.: , S2k-1 #0, S2k = 0}, 
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由 对 称 性 , 可 见 


fak = P(S1 关 0 92kp-1 天 0,92k = 0) 
一 2Р(5, > 0,---,&ок—1 > 0, бок = 0). (3) 


我 们 把 序列 (So, , Si) 称 做 长 为 k 的 路 径 , 以 LA) 表示 具有 性 质 4 的 长 为 
k 的 路 径 条 数 . 那么 ， 


1 
Так = э2п—1 у |Гоһ(о1 > 0, ··- , 591 > 0, 52% = 0, 
{a2k+1，… An} 


Sok+1 = акал, әт = ак + "二 ат). 


1 
Г2к(91 > 0 ,Sok_1 > 0, 52к = 0), (4) 


= ыт 
其 中 对 一 切 {azk41,… а}, а; = +1 的 组 合 求 和 . 
TÆ, 求 概 率 fok 归结 为 求 路 径 的 条 数 [2191 > 0, К, ‚ 996-1 > 0, бор = 0}. 
5 1 设 a,b 为 非 负 整数 ,a 一 b>0,k=a+t+b, 则 


— р | 
Ln(S1 > 0, ,Sh1 > 0,8. =a — b) = = а, (5) 


证 明 事实 上 
Lr(S1 > 0,.… , Ok—1 > 0, 55 = а – Б) 
= [,.(51 = 1,55 >0,--: эт > 0, Sk = а — b) 
= 了 KU91 = 1, Sk = а — b) 
—Г%(5: = 1, Sk =а—6; 31,2 Si < k —1, {Ë S; < 0). (6) 
换 句 话说 , 始 自 点 (1,1) 止 于 点 (k,a — b) МЕЖ (51, S20, Se) 的 条 数 , 等 于 由 


点 (1,1) 到 点 (k,a – b) 的 全 部 路 径 条 数 , 减 去 与 时 轴 相 切 或 相交 的 路 径 条 数 *). 
注意 到 ， 


Li(S1 = 1,56 =а-—6; 3,2 <1<А-1, 使 S; < 0) = Ё, (51 = —1, Sk =a — b), (7) 


即 自 志 a = (1,1) #] 5 В = (К,а — b) 且 与 时 轴 相 切 或 相交 的 所 有 路 径 条 数 , 等 于 由 
点 a* = (1, 一 1) 到 点 8 = (К,а – Б) 的 所 有 路 径 的 条 数 . 这 一 事实 称 做 反射 原理 . 容 
易 证 明 , 在 连接 a 和 В 两 点 的 路 径 4 = (51,… ‚ба, балл, Sk) 与 在 连接 a* 和 
8 两 点 的 路 径 B = (-51,… ,一 So, ада," ,Sk), 之 间 存 在 一 一 对 应 关系 (图 17), 其 
中 a 是 路 径 4 和 路 径 В 为 0 的 第 一 个 反 ; 其 证 明 可 以 由 上 述 两 条 路 径 的 一 一 对 应 
关系 导出 . 

*) 路 径 (S1, S52,… , Sk) 称 做 正 的 ( 非 负 的 ), 如 果 全 部 5, > 0 (5; > 0); 路 径 称 做 与 时 轴 相 切 的 ， 
如 果 对 于 所 有 1 <j <k, 5; 20 (5; < 0), НЕТ <: < К, 5; = 0; 路 径 称 做 与 时 轴 相 交 的 , ШЖ. 
存在 两 个 时 点 i 和 j;, № 5, > 0 (5; < 0). 
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图 17 反射 原理 


由 (6) 式 和 (7) 式 可 见 


І.(51 > 0,--- ‚5-1 > 0, 54 = а – Б) 
= Lk(Sı = 1, Sk = a — b) – (5 = —1, Sk =a — b) 
一 СЕТ] — Ck-1 = 2 k> 
FÆ, 命题 (5) 得 证 . 口 
ME, 回 到 概率 fo 的 计算 . 由 (4) RA (5) 式 (а=Кк,Ь=К—1), 可 见 


for = 27 Lag(S1 > 0 , S2k—1 > 0,5 = 0) 


= 27H Lo 1(S1 > 0,..., 81 = 1) 
1 
— 1 


_ 1 


X 
2 
FE, AR (2) 得 证 
我 们 再 给 出 公式 (2) 的 一 个 证 明 . 证 明基 于 如 下 事实 : 


эск!) = 22(k-1D — ЧОБ. (8) 
{02n = 2k} = {02n > Uk — 1) {оь > 2k}, 
{92% > 21) = {91 天 0 55 # 0}, 
ВР 


{oan = 2k} == {51 天 0 „ыы и) #0} {91 # 0,.. , Szr 5 0}. 
因此 
Рк =Р{51 Ж 0, ... , O2(k—1) + 0} Р{5; Ж 0, ... ‚ S2k = 0}, 
从 而 , 由 于 (8) 式 , 为 证 明 等 式 


1 
fok = ор 206—1) 
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只 需 证 明 
Г2к (91 £ 0, eus ‚ Хәр Ф 0) — Lok (52% 一 0). (9) 


为 此 , 注意 到 , 显然 
Го (51 Æ 0, ,SO2k £ 0) = 2Е2к(51 > 0 92k > 0), 
因此 为 验证 (9) A, 只 需 证 明 


21,әк( 5, > 0,… ,Sok > 0) = [2к (51 之 0,.… ,э2к 之 0), (10) 


Г2к(51 2 0,- ‚5оь > 0) = Lak(S2k = 0). (11) 


如 条 证 明 在 至 少 一 个 5; = 0 的 路 径 А = (51,… , 5), SEKE В = (91,..., 
Sok) 之 间 存 在 一 一 对 应 关系 , 则 就 可 以 证 明 等 式 (10). 

设 А=(5\,... ,Sok) 是 在 点 为 首次 0 (ЕП 5, = 0) 的 非 负 路 径 . 自 点 (a, 2) 引 一 
轨道 (Sa 十 2， Sati +2, e, S2k +2) (图 18 中 虚线 )， А672 В = (51, --: ,S01; ба 十 
2,... ,Szk +2) ЖЕНУ. 相反 , К В = (91,… ,Szk) 是 某 一 正路 径 , m b Æ 5 = 1 的 
最 后 时 刻 (图 19). ЖАВ А = (91,… , 56, Зы: — 2,--- ,Sw — 2) 是 非 负 的 . 由 上 
面 的 构造 可 见 , 在 正路 径 和 (至 少 有 一 个 S = 0) 的 非 负 路 径 之 间 , 存在 一 一 对 应 关 
系 . 于 是 等 式 (10) 得 证 . 


图 18 图 19 
现在 证 明 等 式 (11). 由 于 对 称 性 和 (10) 式 , 只 需要 证 明 
Е2к (51 > 0,.-. ,S2k > 0) + Г2к($1 2 0,-.- , 59 > 0, 
Н 34,0 <i < 2k, 5; = 0) = І. (52% = 0). 
路 径 的 集合 (Sa = 0) 可 以 表示 为 两 个 集合 Р, 与 #7, 之 和 , 其 中 多 ; 是 只 有 一 
个 极 小 值 的 路 径 (So, , 52%), 而 #. 是 至 少 在 两 个 点 上 达到 极 小 值 的 路 径 . 


w С, cg (图 20), П у 是 极 小 值 点 . 将 路 径 C1 = (So, S1, ,Szk) 对 应 于 一 
下 路径 C+ (图 21). 路 径 С: 是 由 如 下 方式 得 到 的 : 将 轨道 (So, S51,:… ,5)) 关于 过 点 
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图 20 图 21 


| 铅 直线 进行 反射 , 而 把 所 得 轨道 自 点 (2k,0) 延伸 后 , 将 其 置 于 右 、 上 方 . 然后 将 坐 
标 原点 置 于 点 (1, т). 所 得 到 的 轨道 是 正路 径 . 

同样 , 如 果 路 径 С. ео, 则 用 同样 的 方式 可 以 将 其 对 应 于 某 一 非 负 路 径 Cz. 

WHR, 设 СТ = (51 > 0,...,52, > 0) 是 某 一 正路 径 , Е $, = 2m (图 21). 
将 路 径 СТ 对 应 于 一 正路 径 С, (图 21). 路径 C 是 由 如 下 方式 得 到 的 : 设 р 是 使 
Sp = т 的 最 后 一 扩 ; 将 轨道 (Sp , Sm) 关于 铅 直 线 z = p 反射 , 将 其 置 于 右 、 上 
Л, 使 其 第 一 个 端点 与 点 (0,0) 重合 . 然后 将 坐标 原点 置 于 所 得 轨道 的 左 端 点 (这 恰 
好 是 图 20 上 轨道 ). 所 得 路 径 有 唯一 极 小 值 , Н. Sz; = 0. 对 路 径 


(51 20,...,52к 20, H 3,0 <t < 2, 5, = 0) 


施用 头 似 的 构造 可 以 导致 至 少 有 两 个 极 小 值 且 Sa = 0 的 路 径 . 从 而 建立 了 一 一 对 
应 关系 , 于 是 证 明了 (11) А. 
这 样 , 证 明了 等 式 (9), 以 及 下 面 的 公式 : 


1 
f2k = U2(k-1) — Чок = эр Ч?(®-1). 


由 斯 特 林 (1. Stirling) 公式 , 有 
иок = С, x 2-2 ~ К 一 оо. . 


Vk 
因此 


1 
Jak ра К > оо. 


由 此 可 见 , 痛 返 0 的 时 间 的 数学 期 望 
Е тіп(оәь, 2n) — У. 2kP1{o2n, 一 2k} + 2тшәх, — У шоьл) 十 тпмиә,„ 
k=l k=1 
是 相当 大 的 . 
此 外 


OO 
у, u2(k-1) = ОО. 
k=1 
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从 而 , 对 于 步 数 无 限 的 情形 , 游 动 趋 于 0 的 平均 时 间 的 极限 等 于 оо. 

这 一 事实 可 以 解释 所 研究 的 、 对 称 随机 游 动 许多 意 想不到 的 性 质 . 例如 , 两 个 
实力 相当 的 对 手 ( 即 р = = 1/2) У, 自然 地 期 望 经 2n ВХ, 平局 的 平均 次 
ж (即使 S; = 0 的 时 刻 ;的 次 数 ) 与 2» 成 正比 . 然而 , 平均 平局 次 数 却 是 数量 级 为 
V2n НЕ (参见 第 七 章 89, (17) 式 ). 特别 , 由 此 可 以 得 出 与 期 望 相反 的 、“ 上 典型 的 ” 
的 实现 : 游 动 (50, 5S1,… ,Sn) 事实 上 并 不 具有 正弦 的 特 反 ( 质 后 一 半 时 间 在 正 侧 , 另 
FERAN, 而 其 有 长 而 缓慢 的 波动 的 特 皮 . 所 谓 反 正弦 定律 说 明了 命 显 的 这 
种 提 法 . 我 们 现在 就 开始 介绍 反正 弦 定 律 . 

2. 反正 弦 定 律 W Poron 为 质点 在 时 段 上 [0,20] 的 正方 度 过 2k 个 单位 时 间 
的 概率 *) . 

引 理 2 设 ww=1l1 和 0<<k<<n, 则 


Pok, 2n = U2kU2n—2k- (12) 


证 明 上 面 曾 证 明 fok = иол) — иок. 现在 证 明 ， 


k 
U2k = У Лир). (13) 


r=] 
由 于 {52 = 0} С {02n < 2k}, 可见 
{526 = 0} = {92 = 0} N {02 < 2k} = У {52 = 0} N {ож = 2}. 


1<[<К 
从 而 


ик = P{S2k =0} = у, P{S2k =0,oz = 21} 


1<і<Е 


= у Р{5 = 002, = 2}P{o2n = 21}. 


15158 
而 由 
Р{52к = 0lo2n = 21} = Р{52к = 0|51 ж 0, ,S21_1 Æ 0, Su = 0} 
= Р{5 + (ён ++ + к) = 0]51 #0,- -+ ,S21-1 Я 0, 5м = 0} 
= Р{5 + (é21+1 + .+ &2к) = 0|5 = 0} 
= Р{& +1 ++ оь = 0} = P{ S21) = 0}, 


可 见 
шк = 》 P{S2(k_1) = 0}P{02n = 21}, 


1<1<А 


*) 称 质 点 在 时 间 段 上 [т ~ 1, т] 位 于 正方 , WE 5—1 或 Sm 至 少 有 一 个 值 是 正 的 . 
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于 是 ,(13) 式 得 证 . 

现在 证 明 (12) R. 当 大 = 0 ЖК = п 时 (12) 式 显然 成 立 . 现在 设 1<k<n-l. 
假如 质点 在 正方 度 过 2k 个 时 刻 , 则 它 一 定 通过 0. 设 2r 是 首次 返回 0 的 时 刻 . 有 两 
种 可 能 的 情形 : 当 S; >0 时 1g<2r, 当 5;<0 时 l< 2r. 

易 见 , 对 于 第 一 种 情形 , 路 径 条 数 等 于 


(z x 2 far ) 220) Р тудат) = 5 х 2" Рок), (п-т). 
对 于 第 二 种 情形 , 相应 的 路 径 条 数 等 于 


1 
9 x 22" for Pak оът). 


从 而 , ТТ 1 <А<П-1, 有 


k k 
1 1 

Рок элп, — 5 у, Jar Р2(к—г),2 (п-т) 十 9 у, f2r Рок опг): (14) 

т=1 т=1 
假设 对 于 m = 1, 一 1, 公式 Pok эт 一 И2т 2 一 2 大 XSL. 那么 ， 由 (13) 和 (14) 

两 式 , 可 见 
1 к 1 {* 
Рк 2n = = Чоп ә у, f2r мәк- 2 十 g 126 ` forU2n—2r—2k 


2 


r=l r 二 1 


1 ] 
— о U2n—2k U2k 十 о 2k 2n 一 2 — Uk U2n—2k: L 


现在 , 设 у(2л) 是 质点 在 区 间 [0,2n] 内 位 于 正方 的 时 间 单 位 数 , 则 对 于 x < 1, 


由 于 当 k ~ oo 时 , 有 


Ш k —> 0o0,n 一 上 一 œ 时 
Р = Usku l 
2k, 2n 269“ 2(п-—К) т Еп 一 Е) . 
因此 


У Рок от 一 У 二 | 


Л 
{6:2<28 <=} {к:5<24<=} 


ті 
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改 
1 Г t 
У. Рим т | Ë опоо. 
{к< <=} туз Vi =t) 
而 由 对 称 性 , 可 见 
1 
Боп > zn — 00 
{*:#<3} 
В. 
f dt 2 , 1 
一 一 一 arcsin yz — -. 
2/КТ-В т 2 


FÆ, 证 明了 下 面 的 定理 . 
定理 (MEZER) 质点 位 于 正方 的 时 间 所 占 的 份额 不 大 于 r 的 概率 , 趋 于 
277! arcsin yT: 
` Pək on 一 ~ arcsin \/т. (15) 


{ к: <=} 


注意 , 积分 中 


т dt 
[ Al-t) 
的 被 积 函 数 w(t) = tA -HA 是 在 点 上 =0 和 += 1 趋向 无 穷 的 一 条 U 形 曲 线 . 
由 此 可 见 , 对 于 充分 大 的 n, 有 


p fo < 1р <А} >15 < nen) ъа}, 


即 形象 地 说 , 质 操 位 于 正方 接近 0 (或 1), 比 自然 期 望 的 值 1/2, 更 有 可 能 . 
利用 反正 弦 函 数 表 , 以 及 在 (15) 式 中 的 收敛 速度 实际 上 是 很 快 的 情况 , 可 以 求 
得 下 面 的 概率 : 


这 样 , 如 果 考 虑 时 段 [0, 1000], 则 大 致 在 十 分 之 一 的 情形 下 , 质点 总 共有 24 个 时 
同 单位 在 正方 度 过 , 但 多 数 时 间 (976 时 间 单 位 ) 在 负 方 . 
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з. 练习 题 

1. #4 n > оо В, Emin(o2zn, 2n) 一 со 的 速度 如 何 ? 

2. R m = шпі < k < n: Sk = 1}, 如 果 对 于 一 切 工 和 大 所 miS <1, 
设 т, = co， 问 对 于 对 称 (р = q = 1/2) ЯЗЕХЖ (p # д) 游 动 , 当 п 一 оо ЇЇ, 
Е тіп(т„, п) 的 极限 如 何 ? 

3. 基于 510 的 思路 和 方法 , 对 于 伯 努 利 对 称 (р = а = 1/2) 随机 游 动 {Sk,k < т}, 
其 中 So = 0, Sk = 和 十 … 十 引证 明 满 足下 列 关 系 式 (N ЕО: 


Р{ max Sk 2 М, Sn < N} = P{Sn > N}, 
Р{ max Sk > N} = 2Р{$, > №} - Р{5„ = N}, 
P{ шах 5, = N}=P{S, = №} +P{Sn = +1}. 


1$К<п 
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1. 引言 ”前面 研 究 的 伯 努 利 变量 i, in 形成 独立 随机 变量 序列 . 在 这 一 节 
和 下 一 节 将 引进 形成 闭 和 马尔 可 夫 А. А. Марков 链 的 两 类 非 独立 随机 变量 . 

甘 论 将 在 第 七 章 中 详细 介绍 .而 现在 仪 给 出 定义 , 证 明 关 于 对 于 停止 时 间 保 持 
著 性 的 一 个 定理 , 给 出 鞠 用 于 证 明 所 谓 关 于 “表决 ”的 定理 . 同样 地 , 该 定理 将 用 于 
$10 中 (5) 式 命题 的 另 一 个 证 明 , 该 命题 曾经 利用 反射 定理 证 明 . 

2. НЕХ  (9,.6,Р) 是 有 限 概 率 空间 , 多 | «9... Zn Жи 
一 分 割 序列 . 

定义 1 随机 变量 序列 上 = (6). << (关于 分 割 @, < 9, < … Zn) ЖЖ 
ў, WR: 

1) & Ж 多 ;一 可 测 的 ， 

2) EEk Z k) = &,1<К<п—1. 

为 强调 随机 变量 E = (&1,...,2.) ПА АЖ ЛЖИ = 


E = (Ek, P к)1<к<я; (1) 


不 过 为 简便 计 党 省略 下 标 1 << п. 
MERE 2, 是 由 随机 变量 &1,… с, 诱导 的 , ВП 


271, — Pe, a5 ‚©з 


我 们 往往 不 提 & = (E, Zr) ÆR, 干脆 称 序列 本 身上 = (Er) ЖЖ. 
下 面 举 几 个 拷 的 例子 . 
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Ят Bm e,m 是 独立 伯 努 利 随 机 变量 : 
P{m = 1) = Р{лк = —1} = 
Sk = 十 十 Wk Bk = „з. 
注意 , АН 9, 的 构造 十 分 简单 : 
| Z, ={р+,р-}, 
其 中 D+ = {и : m =+1},07 ={ш:ту=-1}; 
P, = {D++, D, D+, D--}, 


其 中 D++ = {w: m = +1, Mm = 十 1},:…,D-~= {w :二 一 1,72 = 一 1}; 依 此 类 推 . 
ЭА, D m, тк 一 5, „.. „Эх. 
现在 证 明 , 序列 (5%, Z kicken ARE. 
随机 变量 5, 是 9, 可 测 的 , 而 由 58 的 (12) 式 , (18) 式 和 (24) 式 , 可 见 


Е(5к-+1|@ к) = Е(5к+, |, Zr) = E(Sk|Z k) + Е(7+112 ,) = Sk + Епь+1 = Sk, 


而 这 正 是 著 的 性 质 所 要 求 的. 

假如 设 So = 0, 取 平 凡 分 割 : Do = {О}, 则 序列 (5%, Z ,)о<ь<, ПЖ. 

012 E n, e,m 是 独立 伯 努 利 随 机 变量 : Р{7; = 1} = р,Р{ = —1} = д. 
Ж ру а, 则 每 一 个 满足 | 


qa\ 
Ek = (2) ‚& = Sk — К(р ~ 4), ЖФ Sk =т+.. + ть 
的 序列 E = (En) ЖЖ. 
Я з рч п 是 独立 们 努 利 随机 变量 , 0, < 0, <... < Ф„, Н 
Ek = Е(1|27,). (2) 


ЖА, 序列 上 = (2%, Z ,)1<к<, ER. 事实 上 , E(w 多 i) 显然 多; 一 可 测 , 且 由 88 的 
(20) 式 , 可 见 


Е (+1197 к) = Е[Е(112+1)12%] = En Zk) = ёр. 
因此 , 我 们 指出 , ШЖ. E= (Ek: Z kicken ERR, 则 由 58 的 (20) 式 , 可 见 
бк = Е(&+1|@ь) = ЕЕ (+29 k) Z k] = E(k] к) =... = Eln] Z) (3) 


FÆ, В с = (ék Z ,) << 的 集合 , 包含 所 有 形 如 (2) НИ. (注意 , 对 于 
无 穷 序 列 Е = (Ek Zk) 一 般 并 非 如 此 ; 参见 第 七 章 51 练习 题 6.) 
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4 Rm, т 是 独 了 并 同 分布 机 变量 序列 , Sk = Ш 十:… 十， 
97, = @5<.,@ = Ys,,s, 1 ,Yn =P Sa, S. 
证 明 序列 上 = (Ek „)у<ск<һ, 其 中 


Sn On—1 
£1 62 n 1° ‚СК p’ ‚© 一 02| 


EB H, 显然 8, < 4 H & 为 D 1 一 可 测 ; 其 次 ， 由 于 对 称 性 ， 对 于 < 
7 一 天 十 1, 有 
Е (п; к) = Е(т |27 к} (4) 


(与 58 中 (26) АН. 因此 


| n—k+l1 
(п-к+1)Е(т|20) = У Е) = E(Sn-ky| Zk) = Sn-k+1. 
j=1 


于 是 


Ол, —К+-1 __ 
к КИ = Е (71|), 


故 由 例 3 可 见 序列 上 = (Ek Z ,)1 <<, ER. 

注 由 已 证 明 的 序列 < = (&, 多 Jigksn BRETA, 为 何 有 时 称 (Sk 7А) а 
构成 北 著 或 “ 反 向 闭 ” 的 原因 (对 照 第 七 章 81 练习 题 5) 

例 5 Жт,. р 是 独立 伯 努 利 随 机 变量 : 


1 
P{m = +1} =Р=-Ц= z’ к = т +: + Лк. 


БАЖ В 是 两 个 整数 , 4 < 0 < B. ЖА, 对 于 任意 0 <А < п/2, 序列 上 = (Ek: р), 
其 中 8, = 4, .. с, А 


& = (оор Га (9,422) 5) 


ЛЗ (Er НЗ ЕН ДЕЙ). 
3. 停止 时 间 НЕХ, 可 见 对 于 一 切 к, 数学 期 望 E& 相同 : 


Е, = Её. 


事实 上 , 如 果 将 (确定 性 ) 时 间 К 换 成 所 谓 停止 时 间 , АЈ — ВЕЛИКА. 

对 于 相应 的 提 法 , 我 们 引进 下 面 的 定义 ， 

定义 2 随机 变量 r = rw) (RFE (Z icken Zi < 多 2 < … < Ф„) Ж 
做 停止 时 间 , 如 果 对 于 = 1,… ,n, 随机 变量 ру (и) 是 8, 可 测 的 . 
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假如 把 分 割 9, 视 为 k 步 观测 结果 诱导 的 (例如 , 由 随机 变量 m, п, 诱导 
WRR 0, = Zm т), ШАРЕ Lelo) 的 Zr 可 测 性 表示 : 事件 {т = 上} 存 
在 与 否 仅 取决 于 步 的 观测 结果 (而 不 依 束 于 “将 来 ”). 

ШЖ Br = a( 多 %), 则 变量 Hrn) 的 @„— 可 测 性 等 价 于 假设 : 


{т=К}є.#,. (б) 


我 们 已 经 遇 到 过 停止 时 间 的 例子 : 89 和 810 引进 的 时 间 т, ооо, 就 是 停止 时 间 
的 例 , 上 面 列 举 的 停止 时 间 是 形 如 


тА = min{0 <k <n: ék ЕДА} 
тА = тіп{о Sk Sn: ék є А) 


(7) 


的 停止 时 间 的 特殊 情形 ，( 相 应 为 在 0 之 后 首次 到 达 0 和 首次 ) 到 达 某 一 序列 £o, 
上 的 集合 А 的 时 间 . 

4. 停止 时 间 的 应 用 

定理 1 H Eci Zecken AR, тт Я (9,1 的 某 一 停止 
М, Я] 


Е(&, |) = &1, (8) 
其 中 
Er — У 10, (9) 
k=1 | 
й) 


证 明 (仿照 89 中 (29) 式 的 证 明 ). 8 рє 细则 利用 条 件数 学 期 望 的 性 质 . 
并 注意 到 (3) ПЕ, 有 


Е(, р) = Po a BD) DP (&Ц+-чү1р) 
= РР > [Е (2.97), = РЕ (+19) 


= элә УЕ.) = а мыш Е(&„ |р), 


Mamar” 
жы 
| 
= 


从 而 
Е (6,197 л) = Е(&„|@,) = &. 


由 此 显然 地 得 等 式 ВЕ, = Бе. D 
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Ж 对 于 例 1 的 著 (5,,„)у<ксһ 和 任意 (КТ, 的 ) 停止 时 间 т, 有 等 式 
Е5, =0, Е52 = Ет. = (11) 


FA (11) 称 做 瓦尔 德 (A. Маја) 恒等式 (对 照 89, (29) 式 和 (30) К; 以 及 第 七 章 82 
的 练习 题 1 和 定理 3). 

利用 定理 1 证 明 如 下 命题 

定理 2 (“表决 ”定理 ) Km, ,7m 是 独立 同 分 布 机 变量 序列 , 其 中 mi 在 集 
ФЕ {0,1,-..} 只 取 有 限 个 值 , Sk = т + п, 1 <А п, A 


Р{5, < k, k € [1,п]|5„} = (1 — =). (12) 


其 中 ат = шах(а,0).. 

证 明 (12) RERS (0:5, > п) 上 显然 . 因此 , 只 需 证 明 对 于 使 5,, < п В 
本 事件 证 明 (12). 

考虑 在 例 4 中 引进 的 蒜 = (©, Z kicken 其 中 


__ Sn-k+1 _ 
Sk = гү; Pk = 5 


nili ky Эл" 


т= шпі <k<n:é.>1}, 


在 集合 
{Ek < КЕ} = l max 51 < | 


li { 


上 设 т=п. 显然 , 在 此 集合 上 & = ё, = 5, = 0, 因而 


f max Ši < | 一 | max Ši <1, Sn < n} С {&, = 0}. (13) 
现在 考虑 同时 使 


5 
Sn < п, шах — > 1 
1<{<п i 


的 基本 事件 . 记 о=п+1-т. ЯМ, 
а= міці < Е<п: Skk}, 


因此 (НТ 5, < п) о < п, So > 0, М Sopi <о+1 ЧМ поч, = 5.41 - So < 
(0+1) -с = 1, Вр По+1 = 0. МТЦ о S So = 0+1 <0 +1, 因而 5. =0 H 


Dnt+1—r — So —1 


п+1—т С 


& = 
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从 而 s 
| max Š > 1,5, < п) С {é = 1}. (14) 


由 (13) 式 和 (14) 式 , 可 见 


| max Э > 1,5, <n} = (6 = 1O {Sa < 可 


1<1<п l 
因此 , 在 集合 5, <n Е 


© 
Р пах 一 > 1 
1<і<п l 


5, | -Р{Е = 15$, } = Е{Е, |5}, 


其 中 因为 &; 只 有 0 和 1 两 个 可 能 值 , 所 以 最 后 一 个 等 式 成 立 . 
最 后 , 注意 到 , Е(Е,|5„,) = Е(&,|@,), 且 由 定理 1 知 ЕЕ, |871) = & = Sn/n. F 
是 , 在 集合 [Sn <n) Е, 有 
P{Sk < k,k € llnllsn} =1— 2", 口 
我 们 用 定理 2 给 出 510 中 引 理 1 的 另 一 证 明 ， 并 说 明 衣 决定 理 名 称 的 来 历 
设 &1,… En 是 独立 伯 努 利 随 机 变量 序列 , Н. 


P{& =1} =P{é = -1} = 5, 
5. =&+...+&, Па ЖЬ ЗЕТЕ: а- > 0а +6 = п. 现在 证 明 ， 


a—b 


a+b (15) 


Р{5, >0,... , Sn > 0]5, =а- b} = 


事实 上 , 由 对 称 性 , 可 见 
Р{5, > 0, -.., Sn > 0|5, =а- Б} 
= P{S1 < 0,…. , Sn < 0[5, = —(a – b)} 
= Р{5у +1<1.... ‚5. +п < 15, + п = п – (а – Б)} 
=P{m <1,- m+ +n < nm +m =п—(а—&)} 
= а атра 
ро п a+b’ 
ЖН n = & +1, 并 用 到 了 (12) 式 . 
610 中 的 (5) 式 曾 经 借助 反射 原理 证 明 的 , 现在 显然 可 以 由 式 (15) 导出 810 中 
的 (5) R. 
假设 有 两 个 候选 人 4 和 В, 我 们 可 以 把 6 = 1 视 为 投 4 一 票 , 而 把 5 = -1 视 
为 投 B 一 票 . 假如 有 大 个 人 参加 投票 , 而 Si 是 4 和 B 得 票 的 差额 ; 假设 4 最 后 共 
得 a X, 而 B 最 后 共 得 b Ha—b>0,a+b=n, M 
P{S1 > 0,::.,5, > 015, =a — b} 


表示 4 得 票 始终 领先 于 B 的 概率 . 根据 (15) 此 概率 等 于 (a —– Б) /п. 


n 
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5. 练习 题 
1. Ж, Zo < Zi <... 0, 是 分 割 序 列 , Zo = {О}; 是 Zk- 可 测 随 机 变 
E, 1 <А<л. 证 明 序列 = (Ek, Z ,), ска, 其 中 


k 
Ek = У т - EZ) 
1—1 


ДЕЙ. 
2. 设 对 于 随机 变量 m, … ‚тк, Enim, > ,Pk-1) = 0. 证 明 序列 E= (Е) «ьп, 
其 中 ©з = т H , 
Ek+1 = NO nia fim, eNi), 
i=] 
其 中 f ЯК РЖ. 
3. МЕНН, ETER & = (Ek Z kjcken 都 有 不 相关 增 量 : 对 于 a<b<c<d, 有 


соу(ё4 一 《cy b — Ea) =0. 


4. 设 对 于 随机 变量 序列 & = (&,...,2,), 其 中 & Я Zr- ШИ (9, < 
92 <... < Zn) WR, 为 使 序列 E = (&1,… в) (关于 分 割 系 {2H ХИ 
充分 和 必要 条 件 是 , 对 于 任意 (关于 {多 4} 的 ) 停止 时 间 т, 有 БЕ, = Бє. (条 件 “对 
于 任意 停止 时 间 ”, 可 以 换 成 条 件 “ 对 于 只 有 两 个 可 能 值 的 停止 时 间 ”.) 

5. 证 明 , 如 果 ё = (2%, №.) сеп ERR, Шт 是 停止 时 间 ， MX FHES k, 


ЕГ —ку| — Е {тк}. 


6. % E = (&,@к) Ж т = (пк, ,) 是 两 个 蒜 , Н &1 = т = 0. 证 明 


ЕС], = у, E(ék — бк-1) (nk 一 Пет), 


大 一 2 
特别 ， 
КЕ = X E(&k — Ek-1)”. 


k=2 
T. йт, т 是 独立 同 分 布 机 变量 序列 , 其 中 Ел; = 0. 证 明 序列 & = (€), 其 
中 


К 2 
& = (> n) — ЕЕ, 
2 一 工 


__ ехр{Л(т +... +1)} 


к = Верт ИЕ 
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ABER. 
8. 设 m, ,mn 是 独立 同 分 布 随机 变量 序列 , 其 值 域 为 有 限 集合 Y. 设 


foly) = P{m = у) >0,y E Y; Л(у) 20, У f(u) = 1. 
уЕУ 


证 明 


gn с Ayoh) m 
< 一 (Ek: Z к), Ek — fom) | (т) ФК P m, ть 


ER. (关系 式 E 称 做 似 然 比 , 在 数理 统计 中 有 十 分 重要 的 应 用 .) 


812. 马尔 可 夫 链 . ВЕ. 强 马尔 可 夫 性 


1. 马尔 可 夫 链 ”在 以 上 研究 的 伯 努 利 概 型 中 , О = {w : w = (zl …… ,Tn), Ti = 
0,1}, 每 个 基本 事件 w 的 概率 为 式 P({w}) = p(w), 其 中 


p(w) = р(х1)::-р(хһ), р(х) = pq ?. (1) 
在 此 情况 下 随机 变量 E, o én 独立 同 分 布 , 其 中 Elw) = т, Н. 
Р{ =z} =- = P{én =z} = р(х), z=0,1. 


如 果 将 (1) 式 换 成 
р(ш) 一 Di(Z1) р. (ть), 
其 中 р(х) = р?(1 – р:)!-°,0 < pi < 1, 则 这 时 随机 变量 с... ,上 不 再 是 独立 的 , Н 
一 般 也 不 是 同 分 布 的 : 
Р {с — т} — piz), n ‚ Р4{& — г} = р(х). 


我 们 考虑 这 关 概 型 的 一 种 推广 , 将 引出 由 非 独立 随机 变量 形成 的 所 谓 的 马尔 可 


夫 链 . 
假设 
Q = {w : w = (£0, T1, ,Tn), Ti E X}, 
` ро(т} = 1, 
ХЕХ (2) 
У рь(х, у) 一 1, К = 1,... T ТЕХ. 
VEX 


对 于 每 一 ш 一 (то, 21, ... Zn), 设 Р({“}) 一 p(w), 其 中 


р(ш) = po(To)pi(To, т1) pn (Tn_1, Tn). (3) 
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个 难 验证 
УР) =1, 


wEN 
全 体 pw), 以 及 空间 О 连同 其 一 切 子 集 的 集 系 决定 空间 (9,6, P), 通常 称 之 为 形成 
马尔 可 夫 链 的 试验 模型 
引进 随机 变量 40, &1,..., 2, 其 中 对 于 w = (£1, Enh Elw) = zi 经 简单 计 
算 , 可 得 


Р{& = а} = ро(а), а) 
Р {£o = Q0, 1 = @1,.-. ‚бк = ак} = ро(ао)р1(а0,а1) “ Рк(ак-1, ак). 
现在 对 于 上 述 概率 模型 (9,2, P), 证 明 条 件 概率 的 一 条 重要 性 质 : 假设 Р{& = 


kst ‚ о = ao} > 0, 
Р{&к+1 = ак+1|$к = ак, ,&0 = ао} = Р{&+1 = ак+1|бк = ak} (5) 


由 于 (4) 式 和 条 件 概 率 的 定义 (53), 可 见 


Р1&к+1 = акъ, бо =а 
Рен ано а оа) = ыр" 


— Ро (ао) р1 (ао, ат) _. ‘Рк+1(ак, ак+1) 


= Ре+т( ак, ак-1). 
ро(ао)р1 (ао, а1) - - рк(ав-1,ак) +1 


类 似 可 得 
Р{&к+1 — ак-„1|©к — ак} — Рк-+-1(ак, ак+1), (6) 
因而 性 质 (5) 得 证 . 
В 27 = 0... с, 是 随机 变量 4... & 诱导 的 分 割 , 而 BE = а). 
那么 , 根据 58 引进 的 记号 , 由 (5) 式 可 见 


Р{&&+1 = 01.0} = Р{& а = акт} (7) 


Р{&к+1 = ак+1 50, t ›&к} = Р{&+1 = акт |в}. 


Е 鉴于 (5) 式 和 (7) 式 以 及 0 概率 事件 , 暂时 中 断 我 们 的 叙述 , 作对 整个 以 后 
的 全 部 内 容 至 关 重 要 的 说 明 . 

在 推导 (5) 式 时 曾经 假设 P{&k = ак, Eo = ao} > 0 (В Р{& = ак) > 0). 之 
所 以 需要 这 样 , 是 因为 条 件 概率 Р(АВ) (暂时 0) 只 有 在 P(B) > 0 的 条 件 下 才 有 定 
Х. 

但 是 , 需要 指出 , WE В = {& = ak,… Eo = ao} ША P(B) =0 (因此 , 对 于 

С = {£k = ak}, P(C) = 0), W) “路径 ”应 视 为 不 可 实现 的 , 那么 , 事件 {Ek = ак} 关 
于 这 条 不 可 实现 的 “路 径 ” 的 条 件 概率 的 问题 , 也 就 毫 无 实际 意义 . 
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因此 , 为 明确 起 见 , 我 们 以 后 把 条 件 概 率 定 义 为 : 
Р(АВ) 

Р(АВ) = | pp’ РВ) >0, 

0, Ф Р(В) = 0. 


在 这 样 的 定义 下 , 无 需 请 如 P{E = ak, Eo = ао} > 0 的 任何 前 提 , (5) 式 和 
(7) 式 仍然 是 正确 的 . | 

应 强调 指出 , 所 指出 的 与 零 概率 事件 有 关 的 困难 , 在 概率 论 的 论述 中 相当 典型 
在 第 二 章 87 中 将 引进 (关于 任意 分 割 、o 一 代数 .……. 的 ) 条 件 概率 的 一 般 定 义 , 可 
以 自然 地 “用 于 符 概 率 的 ”情形 . 

如 果 利 用 明显 的 等 式 


P(ABIC) = Р(А\ВС)Р(В С), 
则 由 (7) А, 有 
P{én = op ‚ба = 41.4} = Р{&„ = ал, „ба = акы|&}Ь (8) 
或 
Р{& 一 an， Ekti 一 QH yp = Р{6 = ал, ‚бк = акк}. (9) 


此 等 式 有 如 下 直观 的 解释 假设 & 表示 质点 在 “现在 "，(&0,… Ek) 表示 
MRE E”, (kto , 6) 表示 质点 在 “将 来 "， 那 么 , (9) RER: 在 “过 去 ” 
(&0,… Eka) 和 “现在 ”& 固定 的 情况 下 ,，“ 将 来 ”(&441,… 和) 仅 依 赖 于 “现在 ” 
©, 而 与 质 反 如 何 到 达 点 с. 无 关 , 妈 “ 将 来 ”不 依赖 于 “过 去 ”. 

设 J= {én = an ,ék+1 = ak+1} X = {ёр = ак}, С = {р-р = ар-р ,60 = 
ао}, 则 由 (9) 式 可 见 

P(JIXG) = P(J|X}, 


由 此 容易 求 出 
Р(1С|Х) = P(JIX}P(GIX). (10) 


换 句 话说 , 由 (7) 式 可 见 , 在 固定 “现在 ” X 的 情况 下 , “将 来 "” J 和 “过 去 ”G 相 
互 独 立 . 不 难 证 明道 命题 : 如 果 对 于 任意 = 0,1,:… ,n 一 1, (10) 式 成 立 , 则 对 于 任 
ЖЕ=О,1,... , п- 1, 性质 (7) 也 成 立 . 

“将 来 ”和 “过 去 ”的 独立 性 , 或 者 说 , 在 固定 “现在 ”的 情况 下 ,“ 将 来 ”和 “过 
去 ”相互 独立 , 通常 称 做 马尔 可 夫 性 , 而 相应 的 随机 变量 序列 E, o, En 称 做 马尔 可 
夫 链 . 
”@J 表示 "将 来 ", х 表示 “现在”, G 表示 ЭЧЕ”. — 译 者 
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这 样 , 如 果 由 (3) 式 决 定 基本 事件 的 “权重 ”p(w), 则 序列 = (&0,… ,&) 构成 
BRIR, RKP (и) = т. 

于 是 , 引出 如 下 定义 . 

定义 #(О,.#,Р) 是 某 一 (有 限 ) 概率 空间 , 上 = (E En) 是 (有 限 ) 随机 变 
量 序列 , 而 (有 限 ) 集合 X 是 其 值 域 . 如 果 满 足 条 件 (7), Д 则 序列 E = (Eo, ,én) Ж 
做 (有 限 ) 马尔 可 夫 链 - 

集合 X 称 做 马尔 可 夫 链 的 相 空间 或 状态 空间 . 概率 的 全 体 


{ро(х) }, Ро(х) = P{£0 = z}, x E€ X 
称 为 初始 分 布 ; Е 
(рь(2,0)), £, y E Х,рк(т,у) = Р{&к = у|&к—1 = т} 


称 为 在 时 刻 К =1,... ,n( 自 状态 x 到 状态 y) АЈЫН АЕ ВЕ. 

如 果 转 移 概率 不 依赖 于 大 : рк(х, у) = plz, y), 则 序列 E= (&0,… En) RARE 
概率 和 矩阵 是 (р(х, у)) 的 齐 次 马尔 可 夫 链 . 

注意 , (p(x,y)) 是 随机 矩阵: 其 元 素 非 负 , 任何 一 行 元 素 之 和 等 于 1, 


У р(х, у) )= 1, ТЕХ. 


假设 相 空 间 X 是 有 限 个 整数 点 的 集合 (例如 , X = {0,1,..., МХ = {0, 
+1,-.., М} 等 ). 此 外 , 根据 习惯 记 р; = poli), pi; = pli, j). 
显然 , 齐 次 马尔 可 夫 链 的 性 质 , 完全 决定 于 初始 分 布 p 和 转移 概率 pj. 在 有 些 
情形 下 , 为 描绘 马尔 可 夫 链 的 演变 , 不 明显 写 出 矩阵 (p), 而 是 运用 有 问 网 络 , 其 结 
Аж X 中 的 状态 . 
Pij 


<N; 


ПП т5л НАХ i 指 问 状态 j, 箭 线 上 的 pij 是 质点 可 能 上 自 点 i 转移 到 点 j 的 
概率 . 
Я1 8 X = 1{0,1,2} 和 


1 0 0 
(pi;) = | 1/2 0 1/2 |. 
2/3 0 1/3 


该 矩阵 对 应 下 面 的 网 络 图 : 

注意 , 这 里 状态 0 是 “吸收 状态 ”: 由 于 ро = 1, 可 见 一 旦 质点 进入 状态 0, ШЕ 
就 停留 在 此 状态 . 质点 自 状 态 1 以 相同 的 概率 进入 相 邻 的 状态 0 或 2; 对 于 状态 2, 
质点 留 在 其 中 的 概率 为 1/3, 而 由 状态 2 转移 到 状态 0 的 概率 为 2/3. 
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例 2 说 X = {0, +1... ‚ EN}, po = т, PNN = P-N -N = 1, 而 对 于 [| < №, 


|р, жЖзў=1+1, 
ру = 4 9, ў=1—1, (11) 
0， 其 他 情形 . 
可 以 用 图 形 表 示 对 应 于 这 样 链 的 转移 情况 (N = 3): 
9 9 4 р р Р | 
(ЖОО УХ ж ож XY СУ): 
一 3 -2 р ~l p ба Та 2 3 


该 链 对 应 于 上 面 研究 的 甲 、 乙 两 人 的 博弈 : 每 人 的 赌 金 为 М, 甲 每 一 步 以 概率 р Ж 
乙 得 +1, 以 概率 g 输 给 乙 得 -1. 假如 把 状态 i 视 为 甲 赢得 乙 的 金额 , 则 到 达 状 态 N 
M-N, 分 别 表示 乙 破 产 和 甲 破产 . 

事实 上 ， 如 果 71,72, ``‘, 是 相互 独立 的 们 努 利 随机 变量 ， 其 中 P{n; = +1} 一 
р, P{n; = ~1} =q, 而 Sk = т + 12 +: + ПЕ 是 甲 赢得 乙 的 金额 ， 则 序列 90, 51 … ， 
Sn (So = 0) 形成 马尔 可 夫 链 且 po = 1, 而 转移 概率 矩阵 为 (11), 因为 


Р{5к\1 = к — ik, Ok—1 — 261, ‚01 一 41} 
= P{ Sk + Пк+1 = 75% = ik, Sk-1 = 1,5,5 = 01} 
一 Р{ 5, + Пк+1 = 15 — ik} — Р{7к+1 一 7 бк}. 
蕊 尔 可 夫 链 50,91, e , On 具有 十 分 简单 的 构造 : 


OH 一 多 十 TAI， 0<Ё<п-—1, 


其 中 m,n ,mn 是 独立 随机 变量 序列 . 
同 理 可 得 , 如 果 Eom, -onn 是 独立 随机 变量 序列 , 则 序列 &0,&,… ,ec 也 是 
马尔 可 夫 链 , 其 中 | 
Ёкъ = Лк(вк, Пк), 0<К<п—1. (12) 


因此 应 该 指出 , 自然 把 这 样 构造 的 马尔 可 夫 链 , 视 为 由 递 推 关系 式 
тЕ+1 = /к(®к) 


决定 的 , 如 (确定 性 ) 序列 (хо, zi1,… ,zn) 的 概率 的 类 似 . 
现在 再 举 一 个 “排队 论 ” 中 、 形 如 (12) 式 的 马尔 可 夫 链 的 例子 . 
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例 3 假设 在 出 租车 站 每 单位 时 间 有 一 辆 车 到 达 . БЕЛ, 则 
车 立即 离 去 . 以 n 表示 于 时 到 达 车 站 等 车 的 弱 客 数量 , 并 且 假 定 m, 56 
相互 独立 的 随机 变量 . 设 总 为 在 时 刻 上 乘客 的 队长 , 其 中 & = 0. WA, WER & =1, 
则 在 下 一 时 刻 & 土 1 的 队长 等 于 

a Я і = 0, 
1—1 +9641, Fizl. 
换 铝 话说 ， 
Ek+1 = (Ek — 1)" + т, 0<Ё<п—1, 
其 中 at = тах(а, 0), 从 而 序列 = (&,... En) 是 马尔 可 夫 链 . 

例 4 此 例 涉及 分 支 过 程 理 论 . 所 谓 离散 时 间 分 支 过 程 , 是 这 样 一 个 随机 变量 
序列 &0, 1, En 其 中 & ЖЕНЯ К 质点 的 数量 , 而 且 质 点 的 生 与 灭 的 情况 是 
按 如 下 方式 进行 的 : 每 个 质 后 以 概率 pj = 0,1,… , M) 裂变 为 了 个 质点 , 裂变 既 不 
依赖 于 其 他 质点 , 也 与 “过 去 历史 ”无 关 . 

假设 在 初始 时 刻 总 共 只 有 一 个 质点 , & = 1. 假如 在 时 刻 К 有 编号 为 1,2,- ,&& 
的 & 个 质点, 那么 根据 上 面 的 描述 , E 等 于 随机 多 个 随机 变量 之 和 : 


k k 
Ek = ът, 


其 中 о 是 第 i 号 质点 裂变 的 质点 的 个 数 . 显然 , 车 名 = 0, W 总 + = 0. 假设 所 有 
随机 变量 n,k > 0, > 1 相互 独立 , Ж) 


Р{ёк+1 = бкл | к = ik, Ek-1 = і, } 
= Рн = а = ik} = PAM + т й) 
由 此 可 见 , 序列 20, 61, --- ,én 是 马尔 可 夫 链 . 


特别 重要 的 是 下 面 的 情形 : 每 一 个 质点 , 或 者 是 以 概率 у 灭绝 , 或 者 以 概率 р R 
变 为 两 个 质点 , 其 中 p +g = 1. 对 于 这 种 情形 , 容易 经 计算 得 到 : 转移 概率 


Pij = Pl{érri = Лёк = i} 
由 下 面 的 公式 给 出 . 
CI 2р) /2ді-3/2, Ф} =0,..- ‚23, 
Pij = 0, 其 他 . 


2、 柯 尔 莫 戈 洛 夫 一 ЖИМИ) (Kolmogorov-Chapman) 方程 W & = (Ek, П, Р) 
为 齐 次 马尔 可 夫 链 , 其 初始 概率 行 向 量 为 П = (pi), 而 转移 概率 矩阵 为 = (pi). 
显然 . 
Pij = РЦ = 6 = i} =... = P{én = jlén-1 = 1}. 
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i рі) =Р{& = Јо =i} (=Р{&ы=Л7@=1},!=1,2,) 
№2 k 步 由 状态 ;到 状态 7 的 转移 概率 , 而 
“= 了 Pfe = j} 
是 质点 在 时 位 于 了 点 的 概率 . 亦 设 
П®) = (р), Р® = (р). 
我 们 证 明 , 转移 概率 满足 “ 柯 尔 英 苞 洛 夫 - 查 普 要 方程 : 


(k+l) __ (k) (0) 
ру =} Pia Рај 
СХ 


其 矩阵 形式 为 
PE+TD ~ ppe). 


基于 全 概率 公式 和 马尔 可 夫 性 , 关系 式 (13) 很 容易 证 明 : 


ру = P{ékn = Лю = i} = У Р{&ы = j, Ek = а = i} 


= J P {ék = Ле = о}Р{& = о = i} = У рари. 


方程 (13) 的 两 种 特殊 情形 最 重要 ; 后 向 方程 
РВ = = 26р apt 
和 前 向 方程 
РТ) = Ур paj 


(М.Е 22 和 图 23). 
前 问 方程 和 后 同方 程 的 矩阵 形式 相应 为 : 


[Р(#++1) — рр, 
р(к+1) ~ РР(®. 
对 于 (无 条 件 ) 概率 р, 类似 地 可 以 得 到 


kit { 
рї = ) pe po 


ПОА РЕА, У 
+ — ПРО. 


113. 


(13) 


(14) 
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图 22 后 向 方程 23 ”前 同方 程 


特别 , 前 向 方程 为 
ПЕ!) 一 пр. 


而 后 向 方程 为 
ПЕ — gpk). 


由 于 РО) = р, П®) =П, 可 见 
p) = рк, П(®) = Пр“. 


因此 , 对 于 齐 次 马尔 可 夫 链 ,大 步 的 转移 概率 р” EER Р 的 КЖ. 从 而 , Ж 
次 马尔 可 夫 链 的 许多 性 质 , 可 以 用 和 矩阵 方法 进行 研究 . 
H 考虑 具有 0 和 1 两 个 状态 , 而 转移 矩阵 为 


P= роо Ро 
р1о P11 


p? = 250 + Р01210 Ро! (роо +211) 
р10(роо + p11) рі 十 polplo 


的 齐 次 马尔 可 夫 链 . 不 难 计算 


而 由 归纳 法 , 有 


pr — 1 l—pi 1— роо 
2— роо — P11 1 — p11 1 一 poo 
| (Фоо + ру — 1)" 1 一 роо 一 (1 — роо) 
2 — роо — P11 ~(1- pu) 一 Dll 


(假设 |poo + pi —-1|<1). 
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由 此 可 见 , ЖЕ Р 的 元 素 使 |poo + ра — 1| < 1 (特别 , 如 所 有 转移 概率 pi 
都 大 于 0), 则 当 n 一 oo В, 有 


1 1 一 ] 一 
ра | Pil „ | (20) 


2 — роо — 211 \ 1— рур 1— роо 
从 而 ‚ ‚ 
. — р11 (л) — роо 
lim p о limp = 一 一. 
n +o 2 — poo 一 Dll n ril 2 — poo — P11 


于 是 , 如 果 [ро + ри 一 1 < 1, 则 所 研究 的 马尔 可 夫 链 的 行为 有 如 下 规律 性 : 随 
着 时 间 的 推移 , 初始 状态 对 “质点 处 于 不 同 状态 的 概率 ”的 影响 逐渐 消失 (ро 收敛 
于 不 依赖 于 的 极限 值 x;, 并 形成 概率 分 布 : ro > 0, ту > 0, ло +m = 1); 假如 除 此 
之 外 假设 pij > 0, 则 极限 值 ro > 0, т > 0 (对 照 下 面 的 定理 1). 

3. 遍历 性 下 面 的 定理 描绘 的 广泛 的 一 类 马尔 可 夫 链 , 具有 所 谓 遍 历 性 : 极限 


(п) 


Лу = lim р; 
不 但 存在 且 不 依赖 于 i 构成 概率 分 布 
п; > 0, Ут; = 1, 
3 


而 且 对 于 所 有 ул; > 0 (这 样 的 分 布 称 做 遍历 分 布 , 详 见 第 八 章 83). 

定理 1 (МР) ИР = (pij) 是 马尔 可 夫 链 的 转移 概率 短 阵 ， 且 状态 
X = {1,2,...,№} 有 穷 . 

а) ЖТ ЖЛ по, 有 


. (no) 
MA Pig > 0, (21) 


则 存在 R1’ NAN, 使 
nj > 0, у ту =1, (22) 
j 
而 且 对 每 个 7 了 EX 和 任意 iEX, 有 


р” — Tj, Nn — ОО. (23) 


b) 相反 , 如 果 存 在 满足 条 件 (22) 和 (23) 的 数 m, TN, 则 存在 满足 条 件 (21) 
的 no. 
с) % (22) 中 的 数 (m1, ,ATN), 满足 方程 组 


ту = У порој, j=1,..,N. (24) 
7 
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证 明 а) 记 
m™ = = min р, М = = шах рі". 
由 于 
р®+) = урар), (25) 
a 
可 见 


1 . 十 1 . . (п) _ (n) 
т" ) — пип р ) 一 пип >. Pia psy > min 2 Pia min paj = = 1%; 


因此 т” <m, HX M > Му"). 从 而 , ХЕ (23), 只 需 证 明 ; 
м” — т 20, п — 0,71 =... ,М. 


В Е = min р{7°? > 0, 则 
1, 


р" = =} peop = Уа - єрүү]рүү ЧЕ 2 рр 


Q 2 
_ -Dei гр pe + ep”, 


而 由 于 pho — epa > 0, 可 见 


ро") > т?) Уа - єр | +єрү” = т”? (1 一 =) + єр”, 


于 是 


п 2 
топот > т (1— є) + єр”. 


由 上 面 两 个 不 等 式 , 得 


(по+т,) (not+n) (п) (п) 
М; у =m; < (М, 一 1%, )(1—=), 


从 而 


(Кпо+п) (Кпо+т) (п) (п) К 


FE, 当 n оо 时 , 对 于 某 序列 {ng}, МО) — т) 一 0. 由 于 差 MP — т" 
关于 п 的 单调 性 可 见 , 24 п 一 oo 时 ，M – ту") — 0. 
车 记 пу = lim т”, 则 由 所 得 到 的 估计 可 见 , 对 于 п > по, 有 


|р?) т; < м” _ тт) < (1- =)/по]-1, 
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即 р 以 几何 速度 收敛 于 极限 值 
同样 显然 ， тї?” 之 mn > є > 0,n > по, B Tj >Q. 


b) 因为 状态 的 个 数 有 限 , Нл, > 0, ЖН (23) 式 可 以 直接 得 到 (21) R. 


с) 由 (23) АМ (25) 式 , 得 方程 (24). 口 
4. 马尔 可 夫 链 的 大 数 定 律 ”在 马尔 可 夫 链 的 理论 中 , 方程 组 
Tj = > Tope j=1, -N (24*) 


有 重要 作用 (对 照 (24) 式 ). 其 任何 非 负 解 Q = (41, an) 都 满足 条 件 2 ala = 1. 
АЯ ЕВА ТЕЛ, (р) 的 , 马尔 可 夫 链 的 平稳 分 布 或 不 变 分 布 . 现在 对 这 一 名 
称 作 如 下 说 明 . 

设 初始 分 布 为 Q= (gi,… ,qn), 即 假设 р; = qj = 1,… N. ЖА, 


1 
р ) = У dabo; = dj 
а 


且 一 般 р” = а). 换 句 话说, 假如 取 О = (q1,… ,gw) 做 初始 分 布 , 则 此 分 布 随时 间 
的 改变 无 变化 , 即 对 于 任意 k, | 


不 但 如 此 , 具有 这 样 初始 分 布 Q@ = (qi,… ,gqn) 的 马尔 可 夫 链 E = (Er Q, P) 是 平 
稳 的 : 对 于 任意 l, 随机 变量 (érék , Сен) 的 联合 概率 分 布 不 依赖 于 大 (假设 
k+l<n). 

条 件 (21) 保证 了 存在 不 依赖 于 i 的 极限 


(п) 


而 且 志 历 分 布 存 在 , 即 存 在 (m, пм), п; > 0. 这 时 分 布 (m, лм) 也 是 平稳 分 
布 . 现在 证 明 分 布 (m, лм) 是 唯一 平稳 分布 . 
事实 上 , 假设 (X71,:… лм) 是 另 一 个 平稳 分 布 . 那么 


лу = Утыра = = Урі) 
oaj > , Tabpa; = — араз · 
^а“ Q 


由 于 - р —* Ty, в], 
п; = У (Жыт) = fj. 


注意 , 对 于 非 遍 历 链 也 可 能 存在 平稳 概率 分 布 (并 且 唯 一 ). 事实 上 , 若 


Н! 
1 0 
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则 


从 而 极限 limpi? 不 存在 . 然而 , 方程 组 


= У _ gapaj, j=1,2 


CY 


И — 42, 
42 = ql, 
(1/2,1/2) 是 其 满足 条 件 qı + gz = 1 的 唯一 解 (q1, Ф). 
还 应 指出 , 对 于 前 面 在 第 2 小 节 讨 论 的 例子 , 方程 组 (24*) 为 (其 中 zj = q): 


变 为 方程 组 


до = 90роо + 91D10， 
91 = фороз + 91011: 


所 以 , 注意 到 条 件 аз + 42 = 1, 由 此 可 见 , 唯一 平稳 分 布 (91, 92) 就 是 已 求 得 的 分 布 : 


1 一 p11 -2o0 
д ЧЩ. 
2 — роо — P11 2 — роо — Р11 


ME, ИЙ НН ЕЕ РЕНН ЕР. 
Е АЖ ЖЕН, ACX, т 


г = "ТЕЛА, 


40 一 


0, ETEA. 


引进 随机 变量 
74(60) +. + aln) 
п + 1 


即 质 点 在 集合 4 中 度 过 的 时 间 的 比率 . 由 于 


valn) = 


Ella(ér)léo = 1] = Plér є Aléo = = >》 pi ( = Di (4))， 
еА 
可 见 
Elva(n)léo = i 
特别 


Е (п) = = — туи 
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由 数学 分 析 (МЧ 53 的 引 理 1) м, 如 果 序 列 а, — a, 则 
ао 十 十 Qnr 
n+l 
因此 , WRH k оо 时 р; — лу, 则 
Evi (n) 一 ту, ВИА (п) — TA, 其 中 ЛА = У оту. 
jEA 
实际 上 ， 对 于 明 历 链 可 以 证 明 得 更 多 ， 即 可 以 证 明 随 机 变量 lo, 
Ialn) o 服从 大 数 定律 . 
ARER. 如 果 &0,&1,…: 是 有 限 遍 历 蕊 尔 可 夫 链 ， 则 对 于 任意 с > 0, 任何 
ACX, 以 及 任意 初始 分 布 ， 


>a, п ә со. 


Р{|ид(п) – ral > =} 0, п оо. (26) 


在 证 明之 前 需要 指出 , 不 能 直接 利用 85 中 关于 伯 努 利 随 机 变量 序列 I4(&0),…， 
Ialn) o 的 结果 , 因为 一 般 说 来 这 些 变量 是 不 独立 的 . 然而 , 如 果 仍 然 利 用 切 比 雪 
夫 不 等 式 , 以 及 如 下 事实 : 对 于 有 限 状 态 遍 历 链 , 存在 0<p<1 和 CGC > о, 4 


р) пу < Ср”, = (27) 


则 可 以 用 与 独立 变量 同样 的 方法 证 明 (26) 5. 
考虑 状态 i з (有 可 能 重合 ), 并 证 明 对 于 < > 0, 有 


Р{|щуу(п) - п] > elo =i} 0, т оо. (28) 
由 切 比 雪夫 不 等 式 , 有 
P{lv(j}(n) — пу > eléo = i} < 
因此 , 只 需 证 明 


Е{[иуу(т) — лу |6 = i} 
E2 l 


E{lu (n) — ml lo =i} —0, n> оо. 
通过 简单 的 计算 , 可 得 
Ее (n) — rl lo = i} 
2 
] n 
= туту” | э (Дзу(&) — 可 
其 中 


k=0 1—0 


1 м (k,l) 


k,l . . 
т = Eily Eu ED] = i} — Ел (к) Eo = 4 
Ея (4) = 4 + nf 
= р руу — туру — туруу + тә, 


s = min(k,t),t = |k – 1. 
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由 (27) 式 


р") = = mj + E, Би < Ср". 


所 以 
т | < Cilo + pt + р + pp!) 


其 中 С. 是 某 一 常数 . 从 而 
С, а 8 і 
вну" т? < GZ +ø +o Ap 


АСТ 2(n +1) _ 8С, 
ав 1)2 12р (п+1)(1—р) 

由 此 就 可 以 证 明 关 系 式 (28), 而 由 (28) 式 可 以 明显 地 得 到 命题 (26). 

5. 游 动 时 间 的 概率 和 期 望 的 递 推 方程 ”对 于 由 伯 努 利 概 型 诱导 的 随机 游 动 
So, 51,…, 在 89 对 于 越 出 某 一 边界 时 间 的 概率 和 数学 期 望 曾经 得 到 递 推 方程 . 现 
在 对 于 马尔 可 夫 链 导 出 类 似 的 方程 . 

假设 < = (&0,&1，,… ) БЕЯ, (Pij) > ZBA X = {0,+1,... М} 
的 马尔 可 夫 链 . 设 4 和 Б АЛЕ, -М<А<О<В<М Н хєх. U Bry 
表示 经 右 端 点 首次 越 出 区 间 (А, В) 的 轨道 (z0, x1,:… ,zk), се X 的 集合 , 即 越 出 
集合 (А, В) 进入 集合 (B,B +1,- , N) 的 轨道 (zx0,z1,… ,zk), zi € X 的 全 体 . 

对 于 A4<zxr<B, 设 


Вк(х) = Р{(&,--- ёк) E Як + = 2]. 
为 求 这 些 概 率 ( 即 马尔 可 夫 链 经 右 端点 首次 越 出 区 间 (А, В) 的 概率 ), 可 以 利用 
推导 后 同方 程 的 方法 . 有 
Вк(т) = P{ (£0, ,ék) E Whtiléo = 2} 
— У _ pzyP {(éo, Еа , Ek) Є 8+1 |6о = T, &1 = у}, 
У 


—0 n= оо. 


其 中 , 利用 马尔 可 夫 性 和 链 的 齐 性 , 不 难 证 明 


Р{(&0,--- ,&к) € +150 = x, & = у) 
= ъа, + Ek) Е Я 0 = т, = y} 
= P{(y, £2, Ek) Є.# & = у} 
= P{(y, &1, --- ‚&к-1) Є Я 6 = у} = Pr-1(y). 
因此 ， ЯТ А<х<В,1<К< п, 


Вк(х) = У Рхубдк-1(У). 
у 
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Bpl) = 1, T= В,БВ+1,:--,М№, 


Вк(т) = 0, т=-М,..., А. 
对 于 经 左 端点 首次 越 出 区 间 (А, В) 的 概率 ak(z), 可 以 类 似 地 导出 方程 
B ть = шш{0 <1< k: £ é (А, BI}, 并 且 当 集合 {:} = 2 Вт. = Е. 那么 , 用 对 
тк (т) = Е{ть|& = =) 用 的 同样 方法 , 可 以 导出 如 下 方程 : 
mpz) = 1+ XO mp- (Y)Pzy 


(AP 1<Е<пА<хт< В). 这 时 
тк(ж) =0, хе (A,B). 


显然 , 如 果 转 移 概 率 和 矩阵 由 (11) 式 给 出 , 则 ок (т), Вк(х) Я ть(х) 的 方程 就 是 
89 中 相应 的 方程 , 这 些 方 程 的 推导 方法 实质 上 与 这 里 方法 一 样 . 

最 重要 的 是 , 在 游 动 时 间 无 限 的 情况 下 , 将 这 些 方程 用 于 极限 情形 . 像 89 中 一 
КЁ, 25 上 一 оо 时 , 相应 的 方程 通过 形式 地 极限 过 度 , 可 以 由 以 上 得 到 的 方程 导出 . 

作为 例子 , 考虑 状态 为 {0, 1,… , B} 的 马尔 可 夫 链 , 假设 其 转移 概率 为 


роо = 1, PBB 一 1, 


ШАХ 1<:<В-1 
Pij = Т, Ф ј = і, 


其 中 mr + г, + а; = 1. 
该 链 可 以 用 如 下 图 形 表示 : 


1 
0 ĝi Р, 2 @в-1 PB- 


由 此 可 见 , 状态 0 和 B 是 “吸收 状态 ”; 对 于 任何 其 他 状态 i, 质点 以 概率 r 滞留 , 以 
概率 Pi 问 右 移动 一 步 ， 以 概率 9 问 左 移动 一 步 . 
MERKO 


a(x) = lim аи (2), 


Фок (х) 是 轨道 在 时 间 段 (0, 6] 上 经 点 4 处 越 出 区 间 (д, В) 的 概率 ( 见 89). 一 一 译 者 
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即 质点 自 点 z 出 发 早 于 到 达 状 态 В 而 到 达 状 态 0 的 极限 概率 . 当 一 co 时 , 对 于 
0<3 < В, Ж а(х) 的 方程 中 求 极限 , 得 


a(j) = 9:07 — 1) +rja(j) + pjalj + 1), 


且 边 界 条 件 为 
a(0)=1, a(B)=0. 


由 于 r; = 1 — q; — Pj, 则 


pilal + 1) — а(7)] = glali) -alj — 1]. 


从 而 
@(7 + 1) — а(7) = руо(1) – 1, 
其 中 
_ Ч1°°°84) — 
Р) D1 pj Ро 1. 
因为 
a(j+1)—1= У [ali+1) - a(i)], 
1=0 
所 以 | 
2 
alj +1) –1 = [а(1) - ПУ p: 
1=0 
ШЖ j= В-1, Мо(7-+1) =а(В) =0, В 
call) — 1 = - 1. 
у, Pi 
$=0 
FË, | 
2. рі >. Pi 
(1) = В а › a(i) = =— ? } = 1,---,В. 
у, Pi у Pi 
1—0 1=0 
(与 $9 中 相应 的 结果 比较 .) 
MER 


m(x) = Jim п тк\т) 
是 游 动 的 质点 在 到 达 状 态 0 或 B 之 一 前 ,所 度 过 时 间 的 极限 值 . 那么 , mO) = 
т(В) = 0, | 
т(т) 二 1 十 у. т(у)Рхи, 


512. 马尔 可 夫 链 . МНЕ. 强 马尔 可 夫 性 123 . 


从 而 , 对 于 所 研究 的 例子 , 对 于 一 切 ;==1,…,B 一 1, 有 


т(7) = 1 +gym(j — 1) +r;m(j) + рут(ј + 1). 


为 求 mli), 记 
那么 
р М(3 +1) = 9М(3) -1, j=1,..……,B-1, 
从 而 求 得 
M(j +1) = p;M(1) - Rj, 
其 中 
_ OARE? _ 1 dj 93 `` 
P3 pı “ру н) р» [ + pi-1 + Р;-—1 я 

因此 

3—1 

т(7) = т(3) – т(0) = > M(i+1) 
1—0 
3—1 3—1 1—1 
— Ў [pim(]) — Е; = т(1) >》 pi 一 X Ri 
i=0 i=0 i=0 
最 后 , 只 剩 下 求 m(1). 由 于 m(B) = 0, 可 见 
В-1 
Ri 
т(1) — 二 ? 
У. Pi 
1==0 
ШТ 1<3 <А, 
В-1 


3—1 2, R; 2—1 
т(7) = >. р; Х = 一 2_ Ri. 
?一 人 > 0; 4 一 0 


i=0 


(与 89 相应 的 结果 比较 , 其 中 ri = 0,m = р, = q). 
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6.， 强 马尔 可 夫 性 ”这 一 小 节 研 究 马 尔 可 夫 性 (8) 的 一 种 强化 : 将 普通 时 间 天 换 
成 随机 时 间 后 马尔 可 夫 性 仍然 成 立 ( 见 下 面 定 理 2). 这 一 称 为 强 马 汞 可 夫 性 的 概念 
的 重要 性 , [例如 在 推导 递 推 公式 (38) 的 过 程 中 ] 将 得 到 证 实 , 而 公式 (38) 的 递 推 公 
式 对 于 马尔 可 夫 链 状态 的 分 类 至 关 重 要 (第 八 章 ). 

设 = (&0,… En) 是 齐 次 马尔 可 夫 链 , (pi) 是 转移 概率 矩阵 , D? = (4 )o<ksn 
是 分 割 系 , 其 中 ZE = 多... 6 . 以 .BL 表 示 由 分 割 ZE 生成 的 代数 о(4©). 

我 们 首先 给 予 马尔 可 夫 性 (8) 另 一 种 表达 形式 . 设 ВЕ. 并 证 明 

Р(& = anst ‚ёр = ак+1 ВП {êk =ак}} 
— P (én = аһ, `: ,Ek+1 = ак+1|&к 一 ак) (29) 


(假设 Р(Вп{& = ак}) > 0). 实际 上 , 集合 В 可 以 表示 为 
В = У {& — аб, ` E ) Ek = ар}. 
其 中 》 ”表示 对 某 个 数组 (ag, ,ax) ЖЖ. 因此 


Р(& = ал, ‚ёкъ = ак+11В N {Ek = ак} 


— Р({ = Яру t7 ‚Ск = ак} N B) 
Р({& = ak} N B) 
_УОРЧё& = он Ooa ao 


P({Ek = ak} N B) 
而 由 于 马尔 可 夫 性 , 可 见 


P({én = аһ, `` ,&к = ак} N {Eo = аб, ,tk = akh) 


Р(& = ал, ,Ek+1 = ак+1 &0 = аф, · ,Ek = ар) 

— хР(5 = аб, ‚Ёк = ар), 者 ак = ах, 
0, + ак + ар, 
Р(& = аъ, `` ‚ &к+1 = акъ = ак) 

= хР(& = а0,-:-,& = аҳ), Ж ak = аў, 
0, Ж ак £ аў, 
Р (En = ап, `` ,k+1 一 ак-+1|©к 一 ак) 

= xP({é = ак} ПВ), Ж ак = ар, 
0, F ак 天 ax. 


从 而 (30) 去 中 的 和 》 ”等 于 
P (En = än; ,Ek+1 — Qk+1|ék — ак)Р({&к 一 ак} Г\ В), 


于 是 ,(29) 得 证 . 
设 т (关于 分 割 系 多 * = (多 ij)o<ksn) 是 停止 时 间 ( 见 811 定义 2) 


$12. 马尔 可 夫 链 . 遍历 性 定理 , 强 马 尔 可 夫 性 ` 125 . 


定义 称 代 数 © 中 的 集合 B 属于 集合 系 #1, 如 果 对 于 每 一 个 1 <k<n,， 
Вп {т = к} Е. (31) 


不 难 验证 , 这 样 集合 В 的 全 体 D 构成 代数 ( 称 之 为 到 时 刻 > 之 前 观测 到 的 事 
件 的 代数 ). 

定理 2 ЖЕ (4,...,2,) 是 齐 次 马尔 可 夫 链 , (pij) Ж ЖЛЕ ЖЕК, т (关于 
Е 57°) 是 停止 时 间 , Ве. Ш А={ш:т+1<п}. ЖА, 如 果 


Р(АпВп {&, = ао}) > 0, 
则 下 面 的 强 马 尔 可 夫 性 成 立 : 


P(r = a r41 = aj AN BNA {ér = a0}) 
一 Р(& + = ly ‚$т+1 — а1|А П {E 一 ао }), (32) 


В (8 Р(АП {£ = ao}) > 0 时 ) 
Р(&, 1 = Q, ,Er+1 = аА Г\ {é7 — ао)) = рађа) ``‘ Paria: (33) 


证 明 为 简便 计 , 我 们 只 证 明 ! = 1 的 情形 . 由 于 Bn {т = k} e Bi, 可见 根 据 
(29) 式 , 有 


Р(2, 1 = a, ÁN BA {E = ao}) 
= >. P {Ekti = Q1, k = a0, T = k, B} 


kxn—-l1 
= У P{ékt = alik = a0,7 = k, B}P {£k = ао,т = k, B} 
k<n—l 
= у, Р {4,41 — алк — ао РЧ, = а0,7 = к, В} 
Еп —– 1 
= Рау >, P{ék = а,т = k, В} = раа. Р(АПВП{Е, = ао}), 
кеп 1 
于 是 , (32) 和 (33) 式 得 证 (对 于 (33) 式 的 情形 , 应 设 B = 9) о 
{1 显然 ,对 于 ! = 1 的 情形 , 强 马尔 可 夫 性 (32) 和 (33) 式 等 价 于 : 对 于 任意 
CCX, | 
Р(& ы E CJAN Вп {E = ао}) = Pa (С), (34) 
其 中 


Poo(C) = У Рава. 


а1Ес 
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而 (34) 式 可 以 表述 为 : 在 集合 А={т<п—1}Е, 
P{érii € С] } = Pe, (С), (35) 


这 在 一 般 齐 次 马尔 可 夫 过 程 论 中 , 是 强 马 尔 可 夫 性 常用 的 形式 之 一 
注 2 即便 设 有 事件 4nBnfer = в} Ж АП (Е, = ао} 的 概率 大 于 0 的 要 求 ， 
性 质 (32) 和 (33) (只 要 利用 注 1 所 描绘 的 约定 ) 仍然 成 立 . 
Т. п 步 的 转移 概率 р” W E= (Eo ,En) 是 齐 次 马尔 可 夫 链 ， (Pij) 是 转移 
概率 矩阵 ， 
SP =Р(&=%&#1,1<1<Е—1&=%), (36) 
而 对 于 #7, 
fi = Р(&=3,&#11<<Е—1&у = i), (37) 
分 别 是 在 时 刻 k 首 返 状态 i 的 概率 和 在 时 刻 有 首 返 状态 7 的 概率 . 
现在 证 明 | 


(т) (К) (пк (0 
Pij = УЛ) ру" , 其 中 р? = | (38) 
К=1 


此 式 的 直观 意义 很 明显 : 为 经 п 步 由 状态 ; 到 达 状 态 j, ЕН К(1<Кс<п) 
步 首 达 状态 у, 然后 经 n к ОҢ у 返回 у. 现在 给 出 (38) 式 的 严格 证 明 . 
设 j НЕ Н. 
T=min{l SKEIN: Êk = 7}, 


E 0} = 0, ДВ т; -п+1 那么 Др) = P(r = klé = i), М 


р = Р(&һ = Лю = i) =У`Р( = j, Trj = klé = i) 
k=1 


= $ ,Р(&у+п-к = j, Tj = Ко = 0), (39) 
k= 


1 
其 中 最 后 一 个 等 式 成 立 , 因为 在 集合 {7; = к} Её, а-к = ё. МН, 对 于 任意 
1 << п, 集合 {т = k} = {т = k, €En = j} МИ, ШЖ Р{& = i,r; = k} > 0, ШЕН 
定理 2, 有 


Р(©,+п—к — j léo — t, Ty — k) = P(r +n_k = 7|6o = ФТ) — К, Єт, — 7) 
(л—К) 


一 Р (Er +п-к 一 7|ё+, = j) = 17% 
而 根据 (37) 式 , 有 
рі? = у Plér а-к = Л = т; = Ё)Р(ту = в = i) = Ур? бл, 


k=1 大 一 上 


于 是 , 关系 (38) 式 得 证 


$12. 马尔 可 夫 链 . МИ. 强 马 尔 可 夫 性 ‚ 127. 


8. 练习 题 | 

1. Е = (&%,... En) 是 马尔 可 夫 链 , X 是 其 值 域 , f (а), те XX 是 某 一 函数 . 
问 序列 (f(&0),…. , f(&n)) 是 不 是 马尔 可 夫 链 ? 序列 (En 81,555, 50) 是 不 是 “后 向 ” 
马尔 可 夫 链 ? 

2. Р = (pij),1 Sij <r ЖЕ, 而 和 是 其 特征 值 , 即 特征 方程 det(P 一 
AE) = 0 的 根 . 证 明 А, = 1 是 特征 值 , 而 一 НВ 2,… ,和 Ar 的 绝对 值 都 不 
大 于 1. 如 果 所 有 特征 值 X,…… , 和; 两 两 不 同 , 则 р 有 如 下 表示 式 ; 


р = Tj + 0%)(2)А2 +++ + оу (г), 


其 中 т;,0:;(2),:::,0; (ғ) 可 以 通过 矩阵 Р 的 元 素 表 示 . (特别 , 用 这 一 代数 方法 分 析 
К АГ ЖЕ ИЕ, 可见 当 A < 1,… |А < 1 时 , 对 于 每 一 个 р 存在 不 依赖 于 i 
的 极限 lim, р?) 
3. W E= (Eo En) 是 齐 次 马尔 可 夫 链 , X 是 其 状态 集 , (pi;) 是 转移 概率 矩阵 ， 
记 
T(z) = Е (&1)|&о = =T (- 2 ol) pn) 


假设 非 负 函数 р = р(х) 满足 方程 
Tolz) = (z) ТЕХ. 


证 明 随 机 变量 序列 
= (k 多:)， 其 中 =ф(&) 


ERR 

4. B Е = (En P) Ж = 
Я, 相应 为 П = (р1, . + Dr) 和 
169 = (02°... p), 证 明 


(2, П,р) 是 两 个 马尔 可 夫 链 , 具有 不 同 的 初始 分 
П = A ь--. ,Р»). B H = (p, pe) 和 


| 
УС” - p] < 2(1 — re)”. 


i=] 


5. 设 PARQ ВЕЕ. 证 明 РО М :Р-+(1—в@)0,0 <а<т1 ВНЕ. 
6. 考虑 齐 次 马尔 可 夫 链 (£o; | бт), Х = {0, 1} 是 其 状态 集 ， 其 转移 概率 矩阵 


1-р р 
q 1—4 | 


ЕЯ 0 <р<10<4<1. R 5, = Eott +E 作为 (86) Ей - 拉 普 拉 斯 定理 


为 
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”的 推广 , 证 明 


n n 


— p+ig __ < т — (x), п — œ. 
пр9(2 -р-а) 
(р +q)’ 


说 明 , 当 рта = 1 ВУ, 随机 变量 60,… ,én 独立 , 而 上 述 命题 归结 为 : 


Р 
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$1 有 无 限 种 结局 试验 的 概率 模型 . 柯 尔 莫 戈 洛 夫 公理 化 体系 (133) 


1. 代数 和 有 限 一 可 加 测度 (133) 
2. 概率 模型 (134) 

3. 柯 尔 莫 苹 洛 夫 公理 化 体系 (138) 
4. 练习 题 (139) 


62 ”代数 和 o- 代数 . 可 测 空间 (141) 


. 代数 和 o 一 АЖ (141) 

可 测 空 间 (®,.#(®)) (148) 

可 测 空间 (R”, 8(R”)) (150) 

. 可 测 空 间 (К°°,.#(К°°)) (152) 

. 可 测 空 间 (@7,.#(Е@1)) (153) 

. 可 测 空间 (С,.9(С)) (155) 

. 可 测 空 间 (2,.9(Т)) (156) 

. 可 测 空间 | | ©, Ня) (156) 


ЄТ ЕТ 


‚ 练习 题 (157) 


© A DUAN 


O 


33 ”在 可 测 空间 上 建立 概率 测度 的 方法 (158) 


1. 可 测 空间 (Ш,.#(В)) (158) 
2. 勒 贝 格 测度 在 数 轴 上 的 开拓 (165) 
3. 可 测 空 间 (了 及”, .多 (了 及")) (166) 
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54 


85 


86 


57 


4. 可 测 空间 (®°°,,#(1Е°°)) (169) 
5. 可 测 空间 (R, 8B(RT)) (173) 
6. 3 (175) 


随机 变量 І (178) 


1. АРА АНЖУ А (178) 

2. 函数 上 = & (4) AF 可 测 的 充分 和 必要 条 件 (179) 
3. 广义 随机 变量 (180) 

4. 随机 变量 序列 之 和 、 差 、 积 、 商 的 极限 (181) 

5. 随机 变量 的 函数 (182) 

6. 阶梯 随机 变量 (183) 

7. 练习 题 (184) 


随机 元 (184) 
1. 随机 函数 、 问 量 和 随机 过 程 (184) 


‚2. 随机 元 的 独立 性 (187) 


3. 练习 题 (188) 


勒 贝 格 积分 . 数学 期 望 (189) 


1. 引言 与 记 与 (189) 

2. 数学 期 望 的 定义 (189) 

3. 随机 变量 < 的 数学 期 沁 Be 的 性 质 (192) 

4. 数学 期 望 的 极限 定理 (194) 

5. 一 致 可 积 的 准则 (198) 

6. 独立 随机 变量 之 积 的 数学 期 望 (199) 

7. 与 数学 期 望 有 关 的 不 等 式 (200) 

8. 拉 东 - 尼 科 迪 姆 定理 (203) 

9. 勒 贝 格 积 分 中 的 变量 替换 (205) 

10. ЧЕЛ жа (207) 

11. 勒 贝 格 积分 和 黎 曼 积分 的 各 种 定义 及 其 关系 (212) 
12. Я - 斯 蒂 尔 切 斯 积分 的 分 部 积分 法 (217) 
13. AAZ ÆRA (219) 

14. 练习 题 (220) 


关于 o 一 代数 的 条 件 概 率 和 条 件数 学 期 望 (225) 


І. 条 件数 学 期 望 和 条 件 概 率 一 般 定义 的 必要 性 (225) 
2. 条 件数 学 期 望 和 条 件 概率 的 一 般 定义 (226) 
3. 关于 分 割 和 关于 o 一 代数 的 条 件数 学 期 望 的 关系 (227) 
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4. 条 件数 学 期 望 的 性 质 (228) 

5. 条 件数 学 期 望 Е(2\# „) 的 结构 (233) 

6. 计算 条 件 概率 和 条 件数 学 期 望 的 例 (234) 

7. 条 件 概率 的 正则 性 (237) 

8. 贝 叶 斯 定理 的 推广 (241) 

9. 条 件数 学 期 望 的 换算 公式 (244) 

10. 充分 统计 量 和 因子 分 解 定 理 (246) 

11. 无 偏 估 计量 , Фу У ЖЕНЕ (251) 
12. 练习 题 (251) 


58 ”随机 变量 (254) 


1. 方差 , 协 方差 和 相关 系数 (254) 
2. 最 优 估 计量 (256) 

3. 随机 变量 的 函数 的 分 布 (258) 
4. 随机 变量 多 元 函数 的 分 布 (260) 
5. 练习 题 (263) 


69 ”建立 具有 给 定 有 限 维 分 布 的 过 程 (266) 


1. 具有 给 定 分 布 函数 的 随机 变量 存在 性 (266) 
具有 给 定 有 限 维 分 布 的 随机 过 程 的 存在 性 (267) 
‚ 测度 的 开拓 和 随机 序列 的 存在 性 (269) 
更 新 过 程 (272) 

练习 题 (273) 


$10 ”随机 变量 序列 收敛 的 各 种 形式 (274) 


‚ 收敛 性 的 基本 类 型 (274) 

基本 随机 变量 序列 的 概念 (275) 
随机 变量 序列 的 依 概 率 1 收敛 (275) 
各 种 收敛 性 的 纵 涵 关系 (278) 

柯 西 收敛 准则 (280) 

2 (283) 


$11 ”具有 有 限 二 阶 矩 的 随机 变量 的 希 尔 伯 特 空间 (286) 


‚ 随机 变量 的 希 尔 伯 特 空间 (286) 
正 交 随机 变量 系 (287) 

最 优 线性 估计 量 (287) 
线性 无 关 性 (288) 

‚ 正 交 基底 和 正 交 化 (291) 


D n e ww Ne л бю м 


то м 
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6. 最 优 线性 估计 (296) 
7. 练习 题 (297) 


$12 ЖОРАЎ (298) 


. 复数 值 随机 变量 (298) 

. 特征 函数 的 定义 (299) 

. 特征 函数 的 性 质 (301) 

特征 孙 数 唯一 决定 分 布 函数 (305) 
逆转 公式 (306) 

‚ 特征 函数 的 必要 条 件 (309) 

‚ 某 些 特殊 分 布 的 特征 函数 (310) 
8. 随机 变量 的 半 不 变量 和 和 给 的 联系 (312) 
9. НН ЯНИЕ (316) 

10. 埃 森 不 等 式 (319) 

11. 第 见 分 布 的 特征 函数 表 (319) 
12. 练习 题 (320) 


813 ”高 斯 系 (322) 


‚ 高 斯 系 的 特点 和 重要 性 (322) 
高 斯 系 的 定义 (323) 

高 斯 系 的 均值 向 量 和 协 方差 矩阵 (325) 
高 斯 向 量 的 性 质 (326) 

高 斯 向 量 的 线性 流 形 的 封闭 性 (329) 

. 一 般 高 斯 系 及 其 性质 (329) 

. 高 斯 随机 序列 和 高 斯 过 程 (330) 

. 布朗 运动 的 一 个 简单 例子 (332) 

. 练习 题 (332) 


51. 有 无 限 种 结局 试验 的 概率 模型 . 柯 尔 莫 戈 洛 夫 公理 化 体系 ‚ 133 . 


像 几 何 学 和 代数 学 一 样 , 概率 论 作 为 数学 学 科 , 可 以 并 且 应 该 完全 公理 化 . 这 意 
ЖЖ, 在 给 出 研究 对 象 及 其 关系 之 后 , 还 应 给 出 这 些 关系 应 服从 的 公理 , 在 此 之 后 全 
部 的 叙述 应 仅仅 以 这 些 公 理 为 基础 ,而 不 依赖 于 这 些 对 象 及 其 关系 的 一 般 的 具体 值 . 


А.Н. 柯 尔 莫 戈 洛 夫 ,《 概 率 论 的 基本 概念 》[32] 


51. 有 无 限 种 结局 试验 的 概率 模型 . 柯 尔 莫 戌 洛 夫 公理 化 体系 


1. 代数 和 有 限 — 可 加 测度 ”上 一 章 介 绍 的 模型 , 提供 了 具有 有 限 种 结局 的 试 
验 的 概率 一 统计 描述 . 例如 “三 对 象 ? 


(2, Æ, P), 其 中 @ = {w : w = (@1,.-: ,an),ai = 0,1}, 
Æ = {А: АСЯ}, Р({}) = р” (1 — р)" 29 (= p(w)), 


是 次 “独立” НЫ К “ЕШ” 出 现 的 概率 为 р. 在 此 模型 中 , 一 切 结局 
的 个 数 N(Q), 即 集 合 中 点 的 个 数 是 有 限 的 , 并 且 等 于 2”. 

现在 的 问题 是 , 建立 无 限 次 “独立 地 ” 掷 硬币 模型 , ҖОР ЕКЕ “ЕШ” ШЭ 
概率 为 p. | 

作为 结局 的 全 体 , 自然 取 集 合 


Q = {ш:ш = (а1, 02, ha = 0,1}, 


即 一 切 序 列 w = (ат, а2,...) 的 空间 , 集合 w 的 元 素 有 0 和 1 两 个 可 能 值 . 

问 集合 о 的 势 (ЕЮ №0) 如 何 ? 熟知 , 任意 实数 a є [0, 1) 可 以 唯一 地 分 解 为 
(可 能 含 无 限 个 0 的 ) 二 进 制 小 数 : 

а= +5 to (a = 0,1). 

由 此 可 见 , 在 w ЖЕО 与 a 的 集合 0,1) 之 间 存 在 一 一 对 应 关系 , 说 明和 集合 0 的 
势 等 于 连续 统 的 势 . 

ТЖ, 如 果 希 望 建立 描绘 “无 限 次 ‘独立 地 ' 掷 硬 币 类 型 ”的 试验 的 概率 模型 , 则 
不 得 不 考虑 相当 复杂 来 源 的 空间 О. 

我 们 现在 尝试 弄 清楚 , 如 何在 “无 限 次 ‘独立 地 ’ 折 (对 称 jp = q = 1/2] 的 ) 硬 
币 ” 的 模型 中 , 合理 地 确定 (赋予 ) 概率 . 

， 由 于 作为 О 可 以 取 集 合 [0,1), 所 以 把 上 面 提 出 的 问题 , 可 以 视 为 “在 集合 [0, 1) 

上 随机 选 点 ”的 模型 中 求 概 率 的 问题 . 由 于 直观 的 对 称 性 , 可 以 认为 一 切 结局 都 是 
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“等 可 能 的 ”>. 由 于 集合 [0,1) 是 不 可 数 的 , 假如 考虑 到 所 属于 集合 [0,1) 的 概率 应 该 
等 于 1, 则 每 个 w 的 概率 必 为 0. 但 是 如 此 定义 概率 (p(w) = 0,w є [0,1)) 没有 什么 
意义 . 然而 , 我 们 通常 关心 的 并 不 是 个 别 结局 出 现 的 概率 , 而 是 试验 结局 属于 某 个 给 
ERA (事件 ) 4 的 概率 . 在 初等 概率 论 中 , 根据 “权重 ”p(w) 即 可 求 事件 4 的 概率 : 


P(A)= У р(ш). 

对 于 现在 考虑 的 情况 , 例如 , 当 p(w) = 0,ше [0,1) Н, 我 们 无 法 求 “ 自 [0,1) 上 随机 
875” ATE [0, 1/2) 的 概率 . 然而 , 直观 上 很 明显 这 一 概率 应 该 等 于 1/2. 

这 种 情况 提示 我 们 , 当空 间 О 不 可 数 时 , 不 应 求 个 别 结 局 的 概率 , 而 应 求 © 中 
某 些 集合 的 概率 . 第 一 章 的 论证 说 明 , 在 其 上 确定 概率 的 集合 的 全 体 , 关于 并 、 交 与 
补 应 该 是 封闭 的 . 鉴于 这 种 情况 , 我 们 引进 如 下 定义 . 

定义 1 RQR EA w 的 某 一 集合 . 0 的 子 集 系 .名 称 做 代数 , ШЖ 

а) QE Æ, 

b) A,B E Æ АВЕ, ANQBEÆ, 

с) АЕ. - АЕ. 8. 
注意 , ERIE b) 中 , 只 需要 求 4UB e. 如 或 4 站 BE. 如 之 一 成 立 , 因为 


AUB = АПВ ANB = AUB 


为 表述 概率 模型 的 概念 , 需要 下 面 的 概念 . 
定义 2 设 .名 是 9 的 子 集 的 代数 . 在 [0,oo] ЕН ЖЖ и = (А), А є 
8, 称 做 定义 在 .名 上 的 有 限 - 可 加 测度 , 如 果 A 中 的 任意 两 个 不 相交 集合 А 和 
В, 有 
А-В) = и(А) + (В). (1) 


具有 (О) < оо WAR - 可 加 测度 u = (А) 称 做 有 限 的 , 而 当 (0) = 1 时 ， 
称 做 有 限 一 可 加 概率 测度 或 有 限 — 可 加 概率 . 
2. 概率 模型 ”现在 给 出 试验 的 概率 模型 , 假设 其 (广义 ) 结局 (现象 ) 属于 集合 


$2. 
定义 3 三 对 象 
(0,.,Р), 
的 总 体 , 其 中 > 
а) О Жми 的 集合 ， 


Ь).® 是 О 的 子 集 的 代数 ， 
c) РЖ. 上 的 有 限 - 可 加 概率 ， 
称 做 概率 模型 、 广 义 (试验 的 ) 概率 “理论 ”， 
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不 过 , 事实 表明 , 为 建立 有 成 效 的 数学 理论 , 这 一 概率 模型 显得 过 于 广泛 . 因此 ， 
不 但 对 所 考虑 的 О 的 子 集 类 , 而 且 对 容许 的 概率 测度 类 , 不 得 不 加 以 限制 | 

定义 4 ”集合 9 的 子 集 系 多 H o- КЖ WRI 是 代数 , 而 且 满 足下 列 性 
ДД (定义 1 之 性 质 b) 的 加 强 ): 

b*) 如 果 АД, € ,n= 1,2,.…, 则 


U4 EZ ,NA EF 


(这 时 ， 只 需要 求 二 武之 一 ЮЗ). 
定义 5 ”空间 ОЖАУ о RAF, 称 做 可 测 空 间 , WE (0,9). 


定义 6 定义 在 集合 09 的 子 集 的 代数 .多 上 的 有 限 - 可 加 测度 и, 称 做 完全 可 
加 或 c- 可 加 测度 , 下 简称 测度 , 如 果 对 于 两 两 不 相交 的 集合 A, A2,:… Е 8, Н 


3 Аһ Е Æ, 
n=l 


H (> А.) — У (А,). 
n=] n=] 
测度 u 称 做 o 一 有 限 的 , 如 果 空 间 О 可 以 表示 为 


= SOn, On E 2, 


ть== 1 
H (О) <оо,п =1,2,.. 


代数 .多 上 的 测度 (注意 , 指 с— 可 加 测度 ) Р, 如 果 满 足 条 件 P(Q) –1, РЖ 
做 (定义 在 代数 .名 的 集合 上 的 ) 概率 测度 或 简称 概率 . 
现在 指出 概率 测度 的 某 些 性 质 . 
1° ода Ж, Ш) 
Р(2) = 0. 


2° ЖА, Вє.ж#, М 
P(AU В) = Р(А) + Р(В) - Р(АПВ). 
3° #+ А, Вє.ё Н ВСА, M 
Р(В) < P(A). 
4° № А. Єє.#,п = 1,2,:.., Н ЈА, E£, W 


P(A; U А50...) < Р(А,) + P(A) +... 
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前 三 条 性 质 显然 . 为 证 明 性 质 4, 只 需 注意 到 , 对 于 n > 2, 有 


оо DO т — 1 
Ја. =$ BnB = льв, = (Пал) nan BoB =a 
n=l n=l k=1 


p (Üa) -2 (Èa) -rey < Eran 
n= n= n=l п=1 


下 面 的 定理 证 明 , 集合 的 有 限 - 可 加 函数 , 同时 也 是 c- 可 加 的 . 该 定理 有 许 
多 应 用 . 

定理 设 卫 是 定义 在 代数 E 上 的 , с 可 加 集合 函数 , Н P(Q) = 1. 那么 , 如 
下 4 个 条 件 等 价 : | 

1) Р A o- Th (P ŽRE); 

2) P 上 连续 , 即 对 于 任意 集合 41,42,…… E A, Ж 


Án С Аһ, ЈА, Є.%, 


n=1 
则 
limP(An,)=P (С л.) 
n=l 


3) P ТЕЖ, 即 对 于 任意 集合 41, Azn, EA, Ж 


Án 2 Án41, Г] An E Æ, 


n= 
则 | 
lim Р(А„) = Р (A А.) ; 
n=l 
4) P Ж “О” E, 即 对 于 任意 集合 A1, А, 6.2, Ж 


An+1 二 Ап, С Ап = О, 


n=l 


则 
lim Р(А„) = 0. 


证 明 1)=2) 由 于 


U Ал = А + (A2\41) + (A3 \ A2) + -.., 
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则 
P (С л.) = Р(А1) + Р(А\А;) + Р(Аз\ А2) +... 
Е = Р(А,) + P(A2) — Р(А!) +Р(Аз) - P(A2) +... 
= lim P(A,). 
2)>3). E n > 1, М | 
Р( А») = P(AI\(A1\An)) = Р(А,) - Р(А,\ А»). 


集合 序列 (А, \А„)»>: 是 非 降 的 (М 51 Æ 1), Ш 
|_] АА») = АА Г) А„. 


п=1 n=l 
那么 , 由 2) 可 见 
lim P(A1\An) = P (С ам) › 


因此 | 
limP(An) = Р(А,) — lim P(41\An) 
= Р(А!) -Р (Шам) = P(A) -Р (an Г] А.) 
n=l n=l 
—Р(А!) -Р(А!) +Р (А А.) =р (A л.) | 
n=i n=l] 
3)=>4). 显然 . 


4)=1). 设 两 两 不 相交 的 集合 Ал, 42,:… © 8, Н ую An E £, 则 


(Ea E (EA) 


i=l 1 二 十 1 
而 由 于 _ 
у, А; | 2, п 一 оо, 
i=n+1 
因此 ， 


OO 


У Р(А;) 一 lim УРА) = lim P | s А) 
i=l 


) і=1 


i=l 
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з. 柯 尔 莫 戈 洛 夫 公理 化 体系 ENN 是 试验 EE 的 结局 (现象 ) 的 集合 . 现在 可 以 
表述 柯 尔 莫 区 洛 夫 公 理化 体系 , 该 公理 化 体系 已 经 被 普遍 地 接受 , 并 且 是 建立 试验 E 
的 概率 模型 的 基础 . 

基本 定义 ”考虑 三 个 对 象 的 全 体 


(Q2, F , P), 


其 中 

а) О Ем ш 的 集合 ， 

b) 是 人 子 集 的 oo- 人 代数， 

с) РЖ ЕЖЕ, 
称 (О, ,了 P) 为 (试验 的 ) 概率 模型 或 概率 空间 . 这 时 , 结局 的 空间 О 称 为 基本 事件 
空间 , Я 中 的 集合 А 称 做 事件 , 而 PA) 称 做 事件 4 的 概率 . 

由 这 一 定义 可 见 , 概率 的 公理 本 质 上 依赖 于 集合 论 与 测度 论 的 工具 . 因此 , 下 面 
的 表 2—1 很 重要 , 该 表 将 集合 论 与 概率 论 相 应 的 概念 进行 对 照 和 比较 . 在 下 面 的 两 
节 将 陆续 给 出 概率 论 中 最 重要 的 可 测 空间 的 例子 , 以 及 其 中 确定 概率 方法 的 例子 . 


结局 的 空间 , 基本 事件 空间 ; 必然 事件 
事件 的 с - 代数 
事件 (шел, ИЖ 4 出 现 了 ) 


事件 “事件 4 不 出 现 ” 


E 4 的 补 集 : 不 属于 4 的 点 w 
的 集合 

合 4 与 B 的 并 ; 属于 A 或 B 
的 点 w 的 集合 

т 4 与 B 的 交 : 同属 于 4 和 8B 
的 点 w 的 集合 
空 集 
集合 4 与 B 不 相交 

п 4 与 B 之 和 : 即 不 相交 集合 4 
与 B 的 并 

合 4 与 明之 差 : 属于 4 不 属于 
В 的 点 ww 的 集合 
集合 的 对 称 差 : 集合 (4\B) О (В\А) 


事件 “事件 4 或 в 至 少 一 个 出 现 * 


事件 “事件 4 或 в 同时 出 现 ” 


不 可 能 事件 
事件 4 与 B 不 相 容 (不 能 同时 出 现 ) 


事件 “出 现 了 二 不 相 容 事件 之 一 ” 


事件 “4 出 现 但 в RHR” 
事件 “4 或 в 仅 出 现 一 个 ” 


L) A 集合 4:, A2,- 的 并 : 至 少 属于 事件 “41, А2,... 的 并 ,”: 事件 “41， 

т А1, А2,--. 之 一 的 点 w 的 集合 А2,... 全 少 出 现 一 个 ” 

> 集合 Ar, An- 的 和 ; 两 两 不 交集 | 事件 “两 两 不 相 容 事 件 Аль... 中 至 

24° 少 出 现 一 个 ” 

а, а 事件 “41, 42，… 的 交 ”: 事件 “А, 
n А» w 的 集合 А2,... 同时 出 现 * 


| 
| 
= 


递增 集合 序列 {4,。} КЖ ТЖЕ А: 
А САС ...,А= |] А, 


Я ЗЕЕ] Ai, 42,..- 收敛 于 事件 А 
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递减 集合 序列 {4n} 收敛 于 集合 А: 


А1 2 А» 2... ‚ А = 门 An 
n=l 


А» А 8 


А = lim 1 А, 递减 事件 序列 Ат, А2,... ИЖЕ 4 


在 事件 序列 А, А2,... 中 出 现 无 限 多 次 
的 w 的 集合 

事件 “在 A1, 42,... 中 出 现 无 限 多 个 事 
件 , 其 中 仅 有 限 个 事件 可 能 除外 ， 


limA, 或 lim sup An 
ti 

或 { 无 限 多 个 An} 
lim4,。 或 liminf A,n 
n 


Ж 在 建立 用 于 描绘 “现象 与 条 件 " 的 概率 联系 的 试验 模型 时 , 应 (根据 第 一 章 81 的 注释 ) 事先 说 明 , 是 

“在 何 条 件 组 合 下 ”考虑 有 关 试 验 的 . 通常 我 们 并 不 作 这 种 说 明 , 不 过 每 次 都 应 当 清楚 , 这 些 “条件 ”是 什么 . 

4. 练习 题 

1. 9 = {r:r e (0, 1} ХМ [0,1] 上 有 理 点 的 集合 , .名 是 集合 代数 : 其 中 每 
一 个 都 是 有 限 个 形 如 {r :а<тг< 6}, {т :а<т< 6}, {г :а<тгз в}, т: а<г< 5} 
的 不 相交 集合 А 之 并 , Ш P(A) = Б а. 证 明 , P(A), A c 2, 是 有 限 — 可 加 的 集 函 
数 , 但 不 是 o- 可 加 的 集 函 数 . 

2. 设 О 是 可 数 集合 , 而 多 是 一 切 子 集 的 全 体 . 设 uA) = 0, 如 果 4 有 限 , 而 
(A) = оо, WR А ER. 证 明 集 函数 u 有限 - 可 加 , 但 非 o- 可 加 . . 

3. 设 u Ж ос 代数 上 的 有 限 测度 , А„єЄ Р,» ==1,2,.…, 而 


А = lim An G А = ШаА„ = шл, ) 
п. т n 


WB, (А) = limp( An). 
4. 证 明 , Р(АЛВ) = P(A) + P(B) – 2Р(АПВ). (对 照 第 一 章 81 4.) 
5. 设 


pı( A, В) = P(A А В), 


P(A A В) 
piap- | PAUB A PAUSI AO 
0, # P(AU В) = 0. 


WH, (А,В) 和 р(А, В) 可 以 作为 “距离 ”, 即 满足 “三 角形 不 等 式 ”. 
б. 设 ЖА -名 上 的 有 限 一 可 加 测度 , 41, 42,… с 6 是 两 两 不 相交 集合 ， 


A=) 4 є. 


?一 
证 明 
(А) > ) (А). 


7. 证 明 
lim вир А, = liminf А„, liminf А, = lim sup 4 
liminf А» С limsup An, limsup(An U Bn) = lim sup А» U lim sup Bn, 
liminf(An п Bn) = liminf А, N liminf Bp, 


lim sup А, П liminf Bn C lim sup(An N Bn) С limsup An N limsup Bn. 


ШЖ An 1 4 或 An | А, М 
lim inf A, = limsup Ад. 
8. 9 {zn} 是 一 数列 , 而 An = (оо, £n). ВЕН, т = limsup zn 5 А = limsup An 
有 如 下 联系 : (-oo,z) С АС (оо, х]. 换 句 话说, А 等 于 (—оо,т) 8 (оо, х]. 
9. 举例 说 明 , 对 于 取 +оо 为 值 的 测度 , 由 完全 可 加 性 , EREE P o 的 


连续 性 . 

10. 证 明 布 尔 (С. Boole) 不 等 式 : Р(А В) 2 1- P(A) – P(B). 

11. 设 41,… ,hn 是 Я 中 的 事件 . 称 这 一 事件 组 为 可 重 置 的 或 可 交换 的 (ex- 
changeable 或 interchangeable), 如 果 对 于 一 切 1 < Ех ЕЖЕ 1с <. < 
ik S n, 概率 P(4,,，… ,hi,) 等 于 同一 个 值 (=px). 对 这 样 的 事件 , 证 明 下 面 的 公式 : 


Р (Ù a) = пр: — С?рә + СЁрз — -+ (1) lpn. 
$=1 


_ 12. 设 (Ар 是 无 限 可 重 置 事件 序列 ， 即 对 于 一 切 п > 1 和 任意 下 标 1 < 
<... < in, 概率 P(A, Ain) 等 于 同一 个 值 (= pr). 证 明 


DO 
P [limA,|=P Ак | = li Ў 
(ш ) A ) јо 
lim — 一 — |] —1)2 7 
Р (ШштА,„) Р (Ù А.) 1 діт ( 1)7A’ (ро), 


其 中 ро = 1, А1(р„) = Рт+1 — Pn, А? (рь) — А1(А?—1(р„)),) 之 2. 
13. B (hn)n>1 是 一 集合 序列 , (An) 是 集合 Ann > 1 的 示 性 函数 . 证 明 


] (timan ) = ше (An), I (їпА„) = (Ар), 
n n т, 7, 


І (Ù an) < У KAn). 
n=l 


n=l 


п=1 


了 (С л.) = шах (Аһ), I (A . = min А»). 


$2. 代数 和 с 代数 . 可 测 空间 . . 141. 


15. 证 明 
Р (mAn) > limP(An), P (imán) < limP (An). 
т", т. n n 


16. & 4* = limp An M А, = іт, Аһ, WHP (An — А„) > 0, P(A* — An) > 0. 

17. 在 上 一 题 的 记号 下 , W А = А* = А,. ШЕН, 2 А, > А, M P(A A An) -+ 0. 

18. ИЖЕ An ТЕ P(A Л А*) = Р(АЛА,) = 0 意义 下 收敛 于 集合 A, 证 明 
P(A Л An) — 0. 

19. 证 明 , 集合 4 与 В 的 对 称 差 AAB, 具有 下 面 的 性 质 : 


ҚА A В) = ЦА) + I(B)(mod2). 


(由 此 可 以 导出 P(4A В) = Р(А) + Р(В) – 2Р(АПВ); 见 练习 题 4.) ЧЕН, 对 
称 差 的 下 列 性 质 : | 


(АДВ)АС=АД(ВАОД) (ААВ) Л (ВАС) = ААС, 
АЛВ= Съ А= ВАС. 


$2. 代数 和 o 一 代数 . 可 测 空 间 . 


1. 代数 和 o- 代数 ”在 建立 (试验 的 ) 概率 空间 时 , 代数 和 o- 代数 是 组 成 元 
Ж. 关于 代数 和 o- АЖ, 将 举 一 些 例子 并 介绍 一 系列 性 质 . 
设 9 是 一 基本 事件 空间 . 集合 系 


„= {0,0},.Я” = {А: АСЯ} 


显然 是 代数 , 同时 也 是 o- КЖ. ХЕ 9, 是 平凡 的 、 最 “贫乏 ”的 о- АЖ Ш 
"БНО 的 一 切 子 集 构成 的 、 最 “广泛 ”的 o КЖ. 

对 于 有 限 空 间 О, c- 代数 多 ”非常 直观 , 一 般 这 正 是 在 初等 概率 论 里 所 考虑 的 
“HE R. 对 于 不 可 数 空 间 О, 集 系 六 ”显得 过 于 广泛 , 致使 在 这 样 的 集 系 上 不 是 
总 能 “合适 地 ”定义 概率 . 

ШЖ АСО, 则 集 系 

Ф a = {А, А, Ø, Q} 


也 是 代数 (o 代数 ) 的 例 , 并 称 做 由 集合 4 诱导 的 或 由 集合 А 生成 的 代数 (0 К 
й). 
这 一 集 系 是 由 分 割 生 成 的 集 系 的 特殊 情形 . 确切 地 说 , 设 


P = {Di, D>,...} 
是 某 一 把 8 分 为 非 空 集合 的 有 限 分 割 : 


Q = Di + D2 +- ; DiN Dj = 9,17. 
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那么 , 由 分 割 的 有 限 或 可 数 个 元 素 之 并 形成 的 集 系 .名 = a( 儿 ), EATE) 是 代数 
(o 一 代数 ). 

下 面 的 引 理 有 重要 意义 , 因为 它 证 明 “建立 含 给 定 集 系 的 最 小 代数 (o 一 代数 )” 
原则 上 是 可 能 的 . 

5151 设 攻 是 中 中 的 一 个 集 系 . 那么 ,存在 含 多 中 所 有 集合 的 最 小 代数 
«(@) 和 最 小 o 一 代数 о(#). 

证 明 О 中 一 切 子 集 的 集 系 多 ”是 cc- КЖ МИ, 至 少 存 在 一 个 包含 多 的 代 
数 和 一 个 包含 多 的 cz- 代数 . 现在 , 由 属于 包含 的 多 的 任意 代数 (с- 代数 ) 的 一 切 
集合 , 组 成 集 系 a( 多 )(o( 多 )). 不 难 验证 , 代数 aE) (с- 代数 о(®)) 就 是 引 理 所 要 求 
的 最 小 代数 (o 一 代数 ). 

+1 HERR о(#) (相应 的 olg) 称 做 由 集 系 多 诱导 的 (生成 的 ) 最 小 代数 
(相应 的 最 小 o- 代数 ). 

前 面 已 经 指出 (51 第 3 小 节 ), о- 代数 在 概率 空间 的 定义 中 占 重要 地 位 . 因此 ， 
希望 得 到 构造 由 某 一 代数 9 生成 的 o 一 代数 的 构造 方法 GIA 1 仅 给 出 了 这 样 o 
代数 的 存在 性 , 但 没有 提供 其 有 效 的 构造 方法 ). 

下 面 是 可 以 想到 的 且 很 自然 的 , 由 .多 构造 o 一 代数 oA 的 方法 之 一 . 

设 多 是 9Q 的 一 个 子 集 系 . 设 多 是 Q 的 一 个 子 集 系 , 包含 多 中 的 一 切 子 集 及 
RIE, 以 及 多 中 集合 的 有 限 或 可 数 个 集合 的 并 . 令 Ao =A, A = 0,26 = 
Bi. 显然 对 于 每 个 п, 集合 An AF о(.ё), 而 且 似 乎 可 以 指望 , 对 于 某 个 n 有 
Bn =0(.), REED UAn = o( £). 

然而 , 事情 一 般 并 非 如 此 . 事实 上 , 取 = (0,1, 而 作为 代数 A, 考虑 由 空 集 Cg 
КМУ (а, 5] 的 区 间 之 有 限 和 诱导 的 О 的 子 集 系 , 其 中 a, 是 有 理 数 . ЖЕНИ, 
这 时 集 系 UC] bn 严格 小 于 o- КЖ o( £). 

我 们 以 后 主要 关心 的 , 不 是 如 何 由 代数 .名 构造 最 小 о— 代数 о (6) 的 问题 , 而 
是 确定 给 定 的 不 同 集 系 是 否 о 代数 o(.%) 的 问题 . 

为 得 到 上 述 问 题 的 答案 , 要 用 到 如 下 重要 的 概念 一 一 “单调 类 ”. 

定义 1 N 的 子 集 系 ÆA, 称 做 单调 类 , 如 果 由 А, с.п = 1,2,...,4, ТА 
或 An | А, 可 得 AEA. 

© 多 是 某 一 集 系 . KUE 为 包含 多 的 最 小 单调 类 . (仿照 引 理 1 的 证 明 , 同样 
可 以 证 明 最 小 单调 类 存在 性 .) 

引 理 2 АЖ 同时 又 是 最 小 0 一 代数 o(. 吕 ) 的 充分 必要 条 件 是 , .如 是 最 小 
单调 类 . 

证 明 每 一 个 o- 代数 显然 是 单调 类 . MER ВИЖ ША € A,n = 
1,2,..- EA, 


n 
В, =|] А; Е. H В, С Вт = 1,2,.... 


+ 二 1] 
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从 而 根据 单调 类 的 定义 ， 
В, | | А; EA. 
| і=1 
类 似 可 得 Г). А; Е „8. 口 
我 们 利用 该 引 理 证 明 , 说 明 如 下 “cc- 代数 ”与 “单调 类 ”两 概念 之 间 联 系 的 定 
理 . 
定理 1 H A ARA, 


(A) = o( 2). (1) 


证 明 由 引 理 2, Ж (6) С о(.%). 因此 , 只 需 证 明 u) 是 о- 代数 . 但 是 ， 
由 于 Æ = uA) 是 单调 类 , 故 仍 由 引 理 2 知 , RAUWE uA) 是 代数 . 
对 于 任意 4 e .有 多, 证明 АЕ. 为 此 运用 如 下 以 后 常用 的 “适当 集合 原理 ”. 
以 
M = {B : B € M, BEM} | 
表示 “使 uA) 是 代数 ”所 有 集合 的 全 体 . 显然 сс. 现在 证 明 A 是 单 
ик  — 
设 Bn E MÆ, 则 В. €E Æ, Bn E A, 因此 
lim Т Bn E€ Æ, 1 Bn Е № lim | Bn E€ И lim | Bn E Æ. 


从 而 


lim Т Bn = lim | Bn Е Ва | В, = lim + В, E Æ, 
lim T Bn = lim | В, Е па | Bn = lim + В, Е.И. 


即 . ВРК Н.С. 可见 N66 是 最 小 单调 类 . 所 以 = 并 且 如 果 
АЕ. = А), Ш АЕ. ЖЖ 关于 补 的 运算 封闭 . 
现在 证 明 , 类 ÆA 关于 交 的 运算 也 封闭 . 
设 АЕ. Н 
а= {B:BEM, ANB EM} 


由 等 式 


lim | (AN Bn) = AN lim | Bn, lim Т (AN Ba) = AN lim Т B,, 


可 见 .多 4 是 单调 类 . 
其 次 , 容易 验证 | 
(Ає.#в)© (BEMA). (2) 
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MER АЕ, ШЕТ. 是 代数 , 可 见 对 于 任意 B E, 集合 Ап В є.%, Н 
此 
„ёс С. 


НТ аА 56 81926, m A 是 最 小 单调 类 , 可 见 对 于 任意 де, = 6. 由 
(2) 式 可 见 , 对 于 4e. 召 Be. 克 有 


(АЕ РВ) => (ВЕ =M). 
从 而 , Ж A cA, 则 对 于 任意 Ве. №, 有 
АЕ Mp. 
因为 дє. 是 任意 的 , 所 以 由 此 得 
ё ср С.Ж. 


因此 , 对 于 任意 B EM, 
в =, 


XFER BE M, CEM ACABEM. 

Аш, ÆA 关于 补 和 区 (从 而 关于 并 ) 的 运算 是 封闭 类 , НП. = uA) 是 代数 . 
于 是 定理 得 证 . Г] 

由 对 以 上 所 作证 明 的 分 析 , п] АЛЕ Е “4# Жо” АКН, 这 些 
集 系 关于 某 些 理论 上 的 集合 运算 的 封闭 性 是 重要 的 . 

从 这 种 观 后 出 发 , 在 整个 有 关 “ 单 调 类 ”的 问题 中 , 引进 所 谓 “x 一 系 ” 和 А 
系 ” 的 概念 是 有 益 的 . 其 实 , 在 证 明定 理 1 时 已 经 用 到 这 些 概 念 . 这 些 概念 , 还 可 以 
用 来 证 明 涉 及 所 研究 问题 的 一 系列 命题 (例如 , 定理 2), 而 且 往往 比 直接 验证 有 关 集 
系 是 “单调 类 ”更 加 方便 . 

定义 2 (“n 一 入 一 #”) E 是 某 个 空间 . 空间 О 子 集 的 集 系 P, 称 做 r- 
R, ЖЕТА ИКЕ ЈАНА: Ж A ,Ahn 62, Д0 А. є 2,пр> 1. 

空间 О 子 集 的 集 系 Z, 称 做 和 一 A, 如 果 

(Л) О Е Z, 

(Ль)(А,ВЕ.- Н АСВ) = (В\Ає.®), 

(Ле) (Ап Е -2,п> 1, НА, Т А) = (АЕ. 

同时 是 x 一 АЖА 系 的 空间 О 中 的 子 集 的 集 系 Z, 称 做 邓肯 (Е. В. Дынкин) 
A 一 入 一 Ad- ЖА. 

注 2 指出 如 下 事实 是 有 益 的 : 和 一 Я ВЕХИ (Ал), (Xs) 和 (А), 等 价 
于 条 件 (Aa), (Ар) 和 (А), 其 中 
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(№) Ж АЕ, Ас, 
(А) E АЕ п > 1, An Ат = Alm + п), ПА, Е. 
还 应 指出 , 显然 任何 代数 都 是 r- Ж. 
设 多 是 某 一 集 系 , 则 以 (E), AE) 和 dE) 分 别 表示 包含 多 的 7 一 Ж, 和 一 系 
和 d- Ж. 
| 由 下 面 的 定理 , 可 见 x - 和 一 系 的 作用 . 为 说 明 该 定理 的 含义 , 我 们 指出 , 每 一 
с 代数 都 是 和 一 Я. 然而 , 道 命题 一 般 不 成 立 . 例如 , Ят О = {1,2,3,4}, ДЯ 


Z = {Ø, 9, (1,2), (1,3), (1,4), (2,3), (2,4), (3,4)} 


是 Л Ж, 但 不 是 o- 代数 . 
“不过, 若 再 补充 要 求 一 系 同时 又 是 x 一 Ж, 则 所 得 x 一 和 一 ЖЕ o 一 代数 . 

定理 2 (关于 7 一 入 一 Ж) а) 任何 一 和 一 系 光 都 是 0 一 代数 . 

ЖЕЖ Жей 7 一 Ж, 则 AE) = а(#) = с(#). 

с) AE ERAH n- R, т АЖ Л ЖЕРС, | о(#) с. 

证 明 а) (НТ (^.)) 系 多 包含 mw, 且 (由 于 A) 关于 求 补 及 有 限 次 交 封 闭 ( 根 
据 (д) 及 关于 区 Ær- 系 的 假设 ), 而 根据 假设 多 是 r- Ж. 因此 , (根据 51 的 定义 
1) ER 多 是 代数 . 为 证 明 集 系 多 也 是 с АЖ, (根据 51 的 定义 4) 需要 证 明 : 如 
RRE Bi, Bo, Е ®, 则 其 并 U, В, 也 属于 多. 

设 Д, = Bi, А, = В„[\А1[\-..Г\Аһ-1,п > 1, WERE (А), ПА, є &. 由 于 
ПВ, =ПА», W В, Е $. 

Ул 一 和 一 ЖЖ o 一 代数 . | 

b) 考虑 和 一 Ж 和 (多) 和 co- КЖ x( 多 ). 如 前 面 已 经 指出 , 任何 o- 代数 都 是 和 一 
R. ЖА, 由 于 o8) о Ф, 则 oE) = Allg > AME). 因此 , AE) С olg). 

假如 现在 能 证 明 , 和 一 Ж 和 (多 ) 也 是 7 一 Ж, 那么 由 命题 a), НГ № л) 是 包含 多 
的 с- 代数 . 由 于 о(®) 是 包含 多 的 最 小 o 一 代数 , 故 由 已 经 证 明 的 X(&) С olg), 
Я] М, (2) = о(@). 

因此 , 只 需要 证 明 AE) 是 т— Ж. 

仿照 定理 1 的 证 明 , 并 且 利 用 “适当 集合 原理 ”. 

设 

&, = {BE ME): 对 于 一 切 Ae 8B,B{ |)Ae AS)}. 

E Beg, M ВПАЕ (Еж ё Ær- Ж). Am g cg. 因为 ( 按 多 | 的 定 
义 ) 8, 是 和 一 Ж, 所 以 М) cA) = 8. 另 一 方面 , 按 &, НЕХ, 有 包含 关系 
Zi С AE). 

从 而 Ei = AE). 

现在 设 


Z, = {Be A(Z): ЖР A € AME), BN A € л). 
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А] Ei 一 样 , Ea 也 是 和 一 Ж. 

ШЕТ Всё, 那么 根据 8, 的 定义 , 对 于 Aeg = AE), 有 BAA ENAME). 
从 而 , 根据 2 的 定义 , И сб», Н М) СЛ) = 多 2. НИ, МЕ) о g2, 所 以 
AE) = #2, 故 对 于 一 切 А, ВЕ ME), 集合 BAA є А), В AS) 是 r- Ж. 这 样 ， 
AE) Æ rA- Ж (0 AE) = а(@)), 如 前 面 所 指出 的 那样 , 由 此 可 见 (9) = о(®). 

于 是 , 命题 b) 得 证 . 

с) НР с HZ ÆR A AECA) =. Hb) WAE) = og). 
于 是 , о(®) <. 口 

注 3 定理 2 的 结果 可 以 直接 由 定理 1 得 到 (练习 古 10). 

下 面 两 个 命题 的 证 明 , 是 “适当 集合 原理 ”和 关于 7 一 和 一 系 的 定理 2 之 很 好 的 

引 理 3 设 PP 和 Q 是 可 测 空间 (QF) 上 的 两 个 概率 测度 ; 光 是 .PF 中 集合 的 
7 一 Ж, 且 测 度 卫 和 Q 在 多 中 的 集合 上 相等 . 那么 , ЖЕЛЕР О о 
№ с(8) 上 也 相等 ， 特别 , 若 .名 是 代数 , 则 测度 也 和 Q 在 c- КЖ oA) 上 也 相 
等 . 

证 明 利用 “适当 集合 原理 ”, 作为 这 样 的 集合 , 取 


Z = {Аєо(#): P(A) = О(А)}. 


显然 О =; ШЖ АЕ, ДНТ P(A) = 1- P(A) = 1- Q4) = (А), 显然 
Ае. ШЖ А,, А.,... cZ 且 两 两 不 相交 , 则 由 测度 P О 的 可 数 可 加 性 有 


Р (Ua) = 2 Pln) = 2 QAn) =Q (Ua) | 


从 而 , 性 质 Aa), (№) 和 (А) 成 立 , 因此 .多 是- Ж. 

根据 引 理 的 条 件 多 < 多, 故乡 是 x- Ж. 那么 ,由 定理 2 的 命题 с), ШИ 
o(E) CZ. 由 于 适当 集合 的 定义 , 这 一 性 质 恰 好 表示 测度 P 和 Q E o- 代数 olg) 
上 相等 . C 

5184 %.6,,.6.,...,6, 是 (关于 测度 卫 ) 相互 独立 的 事件 代数 . 那么 , с 
代数 olb) 0 (62), oln) (ЖТЖ Р) 也 相互 独立 . 

证 明 我 们 首先 指出 , 在 概率 的 一 般 理 论 中 , 集合 以 及 集合 系 (АЖ с К 
数 ,.… ) 的 独立 性 的 定义 , 和 初等 概率 论 中 独立 性 的 定义 完全 一 致 ( 见 第 一 章 53, 定 
М 2-5). 

& 42,… ,An 相应 为 E Ё, 中 的 集合 , 且 


Z= (AE oD PANAN nAn) = PA риа. (3) 
k=2 
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现在 证 明 多 | 是 А Ж. 
显然 Qe 多 1, MEF (A) RA. АВЕ, АСД. 那么 ,由 


P(AN Аз Nn...N Аһ) = P(A) П P(Ax) 
k=2 


和 


P(BN AN-N An) = P(B) П Р( Ак), 
| 天 一 2 


因此 由 第 二 式 减 去 第 一 式 , 得 


Р((В\А)п А.П... ПА, = Р(В\А) П P(A). 


k=2 


因而 条 件 (Ль) 成 立 . 最 后 , 如 果 集 合 В, со(1), k21, Н В, ТВ, | 
ВЕ ПАП... ПА, ТВП АП: ПА. 


因此 , 因为 概率 Р 的 上 连续 性 ( 见 $1 的 定理 ), ЭҢ К — оо 时 对 


Р(Вьп А п... N An) = Р(Вь) | [ Р(А,) 


1=2 
求 极 限 , 得 
Р(Вь п A2 п... N An) = Р(Вь) | [ Р(А;), 
1 二 2 
即 条 件 (Ac) АЗУ. 


因此 , Z, 是 和 系 , HZD AA. 根据 定理 2 的 命题 с), 可 得 Zi 2 olt). 

РЖ, ЧЕВУЖЖ 0(.1),.62,..., 8, 相互 独立 . 

УТ ol), £3, Én ol) 进行 类 似 的 论证 ， 可 见 集 系 0(.—), 
-Ga An a(b) 相互 独立 , 或 等 价 于 集 系 2#3,... An ol), o(a). 

继续 这 一 过 程 , 可 得 由 o 一 代数 ol) ol), oln) 构成 的 相互 独立 的 
集 系 . 口 

注 4 我 们 再 次 分 析 , 为 使 集 系 形成 o 一 代数 , 需要 满足 什么 条 件 . 

为 此 , 如 果 集 系 关 于 可 数 次 交 运 算 


Ау, А2,-.. Е & = Г] An 124 
7—1 
封闭 , 则 称 之 为 x* 一 Ж. 
ЖА, 由 o- 代数 的 定义 可 见 , 如 果 某 一 代数 多 同时 又 是 r- R, 则 它 就 是 o 一 
代数 . | 
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基于 “r л 系 ” 概 念 的 处 理 方法 略 有 不 同 . 这 里 不 是 从 “代数 ”的 概念 出 发 ， 
而 是 从 “和 一 系 ” 概 念 出 发 . 并 且 , 如 由 定理 2 的 命题 а) 可 见 , 若 此 和 一 系 同时 又 是 
7 一 Ж, WEEE o- АЖ. 

显然 , 这 恰好 是 上 两 种 处 理 方 法 的 区 别 所 在 . 

当 验 证 某 集 系 是 否 x- 代数 时 , 我 们 从 检验 该 集 系 是 否 代数 开始 , 就 是 说 , 进行 
此 检验 只 需 考 虑 集合 的 有 限 和 (或 交 ).“ 可 数 性 ”( 这 正式 “全 部 要 做 的 *) 出 现在 下 
列 情形 : 需要 检验 一 个 集 系 是 否 л Ж. 

对 于 “和 一 x 一 方法 ”, 验证 性 质 “ 有 关 集 系 是 o- 代数 ”, 我 们 首先 从 “确定 该 集 
RET 和 一 系 ” 开 始 , А— 系 的 性 质 A) 或 (А) 已 经 涉及 “可 数 "” 运算 . 但 是 , 在 第 二 
阶段 当 验 证 该 集 系 是 否 x 一 系 时 , 我 们 只 进行 集合 的 有 限 交 或 和 的 运算 . 

在 结束 叙述 有 关 “ 单 调 类 ”的 有 关 结 果 时 , 我 们 给 出 其 一 种 函数 形式 . (第 八 章 
_ $2 定理 1 之 引 理 的 证 明 , 可 以 作为 引用 的 例子 .) 

定理 3 AEAF PREAH n А, m 是 实数 值 Я Ежи, 
具有 下 列 性 质 : 

(h) 若 AcE, 则 函数 [лє Ж. 

(ha) E Је, he Ж, 则 对 于 任何 实数 с,/ + Һє, H се; 

(Аз) Ж hri EH п>1,0<А, ТА, АС... 

ЖА, КА H 包含 一 切 关 于 о— 代数 о(Е) THARA. 

WA М.” ={АЕЯ : Гас}. 由 (в), Я “с. 由 于 (л) 和 (Аз), 
可 见 集 系 -Z EA- Я (ЖУ 11). 因此 由 定理 2 的 命题 c), 可 见 о(8) C 9. 从 
№, 由 4ec(&), 可 见 Га є... 根据 性 质 (ho), 由 此 可 见 , 所 有 简单 函数 也 属于 集 
Ж Ж. (所 谓 简单 函数 , 即 形 如 I4,, A Е o( 多 ) 的 函数 的 有 限 线性 组 合 ). 最 后 , 由 性 
ДАП, 一 切 关 于 о- 代数 oE) 可 测 的 有 界 函 数 属 于 集 系 Ж. 口 

#5 RX, , Xn 是 可 测 空间 (0,9) 上 的 随机 变量 , F” —о(Хү,...,Х), 
而 f = f(w) 是 8 - 可 测 函 数 ， 那 么 , 存在 博 雷 尔 函 数 F = F(z1,.… ,zn), 使 
Аш) = К(Хү(ш),--- ,Xn(w)). | 

为 证 明 这 一 命题 , 只 需 利用 定理 3. 在 定理 3 中 , 作为 “适当 集合 原理 ”中 函数 
的 适当 集合 , 取 非 负 博 雷 尔 函数 F = F(x, ,zn) 的 集合 Ж, 而 作为 集合 #, 取 


& = {w : Ху(ш) < T1, ‚Хъ(ш) 5 Tni Ti с ЕЁ, + = l,- ‚т}. 


由 定理 3 知 , 任意 非 负 #^— 可 测 的 函数 f = f(w), 都 可 以 通过 非 负 博 雷 尔 函 数 
Е = Е(ть ,zn) 表示 为 f(w) = F(X1(w),… ,Xn(w)). 一 般 (RERAN), R 
数 f 通过 极限 过 度 可 以 表示 为 f = f+ - 广 . 

下 面 研究 对 于 概率 论 最 重要 的 各 种 可 测 空间 (F). 

2. AMEB (К,.0(К)) Е = (оо, оо) 是 实数 轴 , 对 于 任意 оо 和 wa < < 
oo, 设 


(а, 5] = {xrER:a<z <b}. 
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假定 把 区 间 (а, оо] 理解 为 区 间 (а, оо). (这样 的 假定 之 所 以 必要 ， 为 使 区 间 
(—со,Ь) 的 补 集 具有 同样 的 形式 , 即 左 开 而 右 闭 .) 
以 .如 表示 集合 в Е, 有 限 个 形 如 (a,b) 的 不 相交 区 间 之 和 构成 的 集 系 : 


АЕ. 其 中 4 = У ап < со. 
1=1 
不 难 验证 , 如 果 给 .名 补充 上 空 集 о, 则 所 得 集 系 形成 代数 , 但 不 是 o- АЖ 因 
为 如 果 An = (0,1 一 1/nje £, 但 是 


(JAn = (0,1) 4.4. 


& BR) 是 包含 集 系 6 的 最 小 o- КЖ ol). 在 数学 分 析 中 , 这 一 с – 代数 
有 重要 应 用 , 称 做 数 轴 上 集合 的 博 雷 尔 代数 , 其 中 的 元 素 称 做 博 雷 尔 集 . 

者 以 .9 ЖЖ (а,Ь) HKE Г ИЯ, 而 以 oll) 表示 包含 9 的 最 小 с 
代数 , 则 不 难 验证 oF) 是 博 雷 尔 代数 . 换 句 话说 , 由 于 c( 9 ) = в(а(9)), 博 雷 尔 代 
数 , 可 以 不 通过 代数 26, НЖЖ 9 得 到 . 

由 于 对 于 a < 6, 


(а,Ь) = U 0-2, ia, b] = N (a- 1], 


п=1 nn 二] 


可 见 , 博 雷 尔 代 数 , 除 包 含 形 如 (а,Ь) 的 区 间 外 , 还 包含 单 点 集 {а}, 以 及 如 下 6 种 集 
合 : 


(a, b), [a,b], (а, b), (оо, b), (—оо, б], (а, –оо). (4) 


还 应 指出 , 由 В 中 的 集 系 生成 的 一 切 最 小 o- 代数 , 都 由 (4) 式 中 同一 种 不 相交 区 间 
之 有 限 和 构成 , 并 且 等 于 .多 (R). 因此 , 构造 博 雷 尔 代数 BR), 可 以 不 从 形 如 (a, 站 
的 区 间 出 发 , 而 从 上 述 6 种 区 间 的 任何 一 种 出 发 . | 

有 时 , 不 得 不 涉及 扩展 数 轴 上 Е = [--со, оо] 的 集合 的 代数 LR), ЖШ в 上 
的 集 系 诱导 的 、 由 形 如 


(а, 6] = {ЕВ:а<х<В} -о<а<ь<оо 


的 不 相交 区 间 之 有 限 和 构成 的 最 小 oc 一 代数 , 其 中 (со, 即 集合 {x Е Е: -oo < 
r Şb}. 


注 1 对 于 可 测 空 间 (RR,. 多 (R)), 又 常 使 用 记号 (R, 8), (及 1 8). 
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注 2 ЖЖК БУ (与 通常 的 欧 几 里 得 度量 |x -yl 等 价 的 ) 度量 : 


_ -У 


而 以 BR) 表示 , 由 有 限 个 “ 形 如 5, (20) 的 不 相交 开 集 之 和 ”诱导 的 、 最 小 o- 代 
数 , 其 中 对 于 р> 0,20 ЕВ, 


So(z ) = {x E R : 01(1,2°) <р}. 


那么 , BR) = BR) ( 见 练习 题 7). 

з. 可 测 空间 (В”,.Я(В”)) В" = Кх...х п (№) 数 轴 的 直 积 (或 欧 几 
里 得 直 积 ), 亦 即 有 序数 组 z = (zx1,:… ,zn) 的 集合 , 其 中 -co < ль < o0,k=1,...,n. 
集合 Г= Их... x dlh, 其 中 Ik = (ak, бк |, 即 集合 {= є R” : zk € Ik,k =1.... n} 称 
НОЕ, 而 Ть 称 做 此 矩形 的 边 . 以 表示 有 限 不 相交 矩形 了 之 和 构成 的 集合 的 全 
Ж. BEER I 生成 的 最 小 c- 代数 oT), 称 做 中 集合 的 博 雷 尔 代数 , 记 作 BR”). 
现在 说 明 , 可 以 用 为 一 种 方式 得 到 这 一 博 雷 尔 代数 . 

与 矩形 了 = 五 x…x 同时 , 考虑 具有 博 雷 尔 边 的 给 形 В = Bi x …… x В, (В, 
是 数 轴 上 的 博 雷 尔 集 , 且 在 直 积 R = Вх... хв 中 占据 第 个 位 置 ). 包含 具有 博 
雷 尔 边 的 一 切 矩 形 的 最 小 о— 代数, 记 作 


BR) S- Q BR). 
+В ЖЖ ec- АЖ LR) 的 直 积 . 我 们 证 明 , 实际 上 ， 
BR”) = BP(R) SL ...® BR). 


换 句 话说 ,“ 由 有 限 个 不 相交 和 矩形 В = В, х... x В, 之 和 ”形成 的 集 系 生 成 的 最 小 
o 一 代数 , 与 “具有 博 雷 尔 边 的 、 有 限 个 不 相交 和 矩形 Г= Их... x I 之 和 ”形成 的 
集 系 , 二 者 重合 . | 

证 明 本 质 上 依赖 于 下 面 的 引 理 . 

5| 理 5 设 乞 是 9 的 某 一 集 系 , 集合 B CQ; 假设 根据 定义 ， 


ИВ (АПВ: АЕ, (5) 
№ (8 ПВ) 是 由 集 系 区 站 BB 生成 的 BB 的 子 集 最 小 o КЖ ЖА 
olé N В) = о(®) п В. (6) 
证 明 HFE co), 可 见 


& ПВ Со(®) ПВ. (7) 


62. 代数 和 o- КМ. 可 测 空间 . . 151. 


由 于 о(#) п В Æ В Но 代数 , 因此 由 (7) 式 , 可 见 
о(@& п В) Со(&) п В. 
为 证 明 相 反 的 包含 关系 , 仍 利 用 适当 集合 原理 . 1а 
в = {Аєо(&): АпВєо(& г В). 
由 于 0(@) Ж о(8 п В) 是 o 一 代数 , Ш 7 НЯ с КЖ 而 且 显然 
E Св Со(®& п В). 


由 ol) С (в) = в С 0(@), Н с(8°) = # в. 从 而 , 对 于 每 一 集合 4 < olé), 


有 
АпВСо(@пВ), 


FÆ, (f) ПВ Со(#п В). 口 

现在 证 明 o 一 代数 BR) 与 (В)... ©. 8R)E (4). 对 于 n= 1 二 者 
显然 重合 . 现在 证 明 , 对 于 п = 2, 二 者 重合 . 

因为 R?) с . 罗 (R) SBR), 只 需 证 明 , 任意 В, x В, AT 8R?) 

设 R? = В, x Ro, 其 中 В, 和 В, 分 别 为 “第 一 条 ”和 “第 二 条 ”实数 轴 ; 9, = 
Я х R2, B> = В, x B2, 其 中 B1 x В(В, x B2) В В, x В,(В., х В) 集合 
的 全 体 , 其 中 Bi e B (B e .多 2). BRI, 和 多, в, ЯП В, 中 的 区 间 的 全 体 , 而 
Я: = ух 82, 72 = х9). ВА, Ш В, = В, х В, В. = Ri x Bz, 则 由 (6) 
式 , 有 


Ву x В = Bi х В» Е. ПВ, =o(F1) п 
=0( Nn B) Coi п 95) = 0(91 x I3), 


而 这 正 是 要 证 明 的 ， 
任意 п > 2 的 情形 用 类 似 的 方法 证 明 . 口 
+ 设 .多 o(R") 是 由 不 相交 开 “ 球 ” 集 有 限 个 “ 形 如 5,(10) 的 之 和 ”诱导 的 最 
小 o 一 代数 , 其 中 对 于 p > 0, z0 є В", 


So(z ) = {x Є R” : palz, 27°) < р}, 


而 度量 为 


n 
оһ(х,х°) = У 2 Кри (ть, 29), 
k=i 
其 中 х = (£1, En), 20 = (19, x8). 


于 是 , BR”) = .多 (R") (练习 题 7). 
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4. 可 测 空间 (R, 8R”) 空间 (R”,.B(R”)) 是 建立 具有 无 限 步 概率 模型 
的 基础 , 因此 它 在 概率 论 中 有 重要 意义 . | 
空间 Коо 是 有 序数 列 


т = (21 2Z2 —00 < Tk < оо, = 1,2,..- 


集合 . 记 I 和 В, 相应 为 区 间 (ак, Б) 和 (坐标 为 т, 的 ) Ж К 条 直线 的 博 雷 尔 集 . 
考虑 柱 集 : 


Я (1, Ж.Х In) — {2:2 = (21,20, --.), 21 Є П, -.. ‚Ти Є In}, (8) 
(Ву х.--х Bn) = {z : £ = (£1, £2, ), £1 € B1, ,rn Є Bn}, (9) 
Я (B®) = {x : x = (z1, £2, ,Tn) Є Bn}, (10) 


其 中 В" 是 BR”) HAERE. 柱 集 中 的 每 一 个 “+” (В; ж. -x Bn) я I (Ba), 
可 以 视 为 以 7+1, R+., 为 底 的 柱 , 因为 | 


(В, Хх... х Bn) = J (Bı Xo x Bn x R), 
I(B”) = J (B"+}), 


其 中 В"+! – В" х В. 

不 相交 柱 集 (1, х... х І.) 的 有 限 和 构成 的 集合 是 代数 .同样 , 不 相交 柱 集 
27(Ву x… x Bn) 的 并 构成 的 集合 也 是 代数 . FRR I(B) 也 是 代数 . 记 BRS), 
B R=) 和 BR”) 相应 为 包含 (8),(9) 和 (10) 式 中 一 切 集 合 的 最 小 с— 代数 (o 一 
代数 B R=) 常 表示 为 „(В)®.(В)®...). 显然 


BRO) C BRO) С .BR™). 
实际 上 , 这 三 个 o- 代数 重合 . 
为 证 明 对 于 每 一 个 n = 1,2,... 记 
2”, ={АСВ": [1 = (z1, , £n) Е А] € B(R”®)}. 
В" с BR”), 那么 
В" Е 2’. 


由 于 Cn, 是 с — 代数 ， НХ 
BR) Con) =. 


由 此 可 见 B(R®) C .多 (R™). 
Тж, B(R®) = BR”) = BR”). 
以 后 , 我 们 称 BRS) 中 的 集合 为 (R) 中 的 博 雷 尔 集 . 


ее 
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Ж 设 BR) 是 由 不 相交 开 “ 球 ” 集 有 限 个 “ 形 如 Ss) 的 之 和 ”诱导 的 最 
小 o 代数 , 其 中 对 于 p > 0,z0 Е Ж, 


5р(т°) — {т ЕК”: pco(z,zZ ) < р}, 


而 度量 为 


со 
poo (5, г”) — ` 274 p1(Tk, 13), 
k=1 


ЖФ т = (71, 12,-:.}, 20 = (10,20,...). FÆ, .多 (R”) = BRS) (练习 题 Т). 
ж ЛМ R” 中 的 博 雷 尔 集 的 例子 . 
(а) {= є К° : sup zn >а}, {x E€ R” : іп Tn < а}; 
(b) {Е R® :iimzn < а}, {= € R” : Нах, > а}, 其 中 


lmzn = inf зар ти, lmzn = зар inf xm: 
n mèn n men 


(с) {£ Є В: zn эт} — ВЕЕ lim zs 存在 并 有 限 的 z с во 的 集合 ; 
(d) {zeReo :limz >а}; 
(е) E ER”: È | > | l 
(f) те Ко: 至 少 对 于 一 个 n>1, Y хь=0}. 
例如 , 为 验证 (а) 中 的 集合 属于 BR), 只 需 注意 到 
{z : sup zn > a} =| {2 :zn > а} € BR”), 


{x : inf tn <a} = [jz : т, <a} eBR™). 
5. 可 测 空 间 (了 ,. 多 (R )) 其 中 了 是 任意 集合 ,而 空间 RT 是 实 函 数 r = 


(zz),t ЕТ, WEK). 我 们 主要 考虑 т 是 数 轴 上 不 可 数 子 集 的 情形 . 为 简便 和 确定 
计 , 现在 可 以 假设 了 = [0, оо). 


考虑 如 下 三 种 类 型 的 柱 集 . 
Ў.А хох In) = {1 : ть ET € Ín}, (11) 
Ув... tn (Bi X.X Bn) 一 {2 : Tt Е Bı, "Е, Е Bn}, (12) 
F gyo +В") — {т : (ть, " ‚Те, ) = В" |, (13) 


其 中 I 是 形 如 (ак, ЮЖ. В, 是 数 轴 上 的 博 雷 尔 集 而 в" ЖОЕ" 中 的 博 雷 尔 
集 


*) 对 于 RT 中 的 函数 , 以 后 还 使 用 下 面 的 记号 : x = (2:);єт, = = (z+), t ET. 
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集合 Ia tlx xn) 是 如 下 函数 的 全 体 : ERZ ti ,th 函数 “经 过 窗 
O” П,-..,Ъ ,而 在 其 余 时 刻 取 任意 值 (图 24). 


| Г, р. | 
| / 
р / \№ ) 


24 


记 BRT), B (ВТ) 和 BRT) 为 相应 地 包含 柱 集 (11),(12) 和 (13) 式 的 最 小 
с- 代数 . 显然 
BR!) c BR) c BRT). (14) 


然而 , 实际 上 三 个 o- 代数 重合 . 而 且 可 以 完全 地 描绘 这 些 集合 的 结构 . 
定理 4 设 人 了 是 不 可 数 集合 , 则 (RT) = (ВТ) = BR!) ВЖЖ 
А Е BR) 有 如 下 结构 : 在 了 ФАА THAS tita, ВЕД В є 
‚#(Е°°), 使 
А ={т:т= (ть,хь,...) Е В|. (15) 


A R E ЖЖ (15) 式 的 集合 的 全 体 (对 于 不 同 的 数组 (titr) Я Ве 
办 (Ree))， 若 对 应 于 A, 42,… © 多 的 数组 为 TO = (0...) ТФ = (00), 
th) 则 集合 TO = |, Т® 可 以 取 作 一 个 统一 集 系 : 一 切 А, 表示 为 


А; = {2:2 = (Er, Er) Е Bi}, 


其 中 В, 是 (同一 ) с- 代数 .#(Е°°) 的 集合 , 而 п; Е Т. 
由 此 可 见 , ЖЖ E 是 о КЖ. 显然 , 此 c- 代数 包含 一 切 形 如 (13) 式 的 柱 集 ， 
而 且 由 于 (87) 是 包含 这 些 集合 的 最 小 o 一 代数 , 则 由 此 并 连同 (14) R, 得 


BIR?) с. (ВТ) с. (ВТ) с. (16) 


考虑 多 中 表示 为 (15) 式 的 集合 А. WREE (titz), 则 用 与 空间 (Воо, 
.多 (Rs )) 情形 同样 的 论述 , 可 见 集合 4 是 由 (11) 式 的 柱 集 生成 的 o 一 代数 的 元 素 . 
然而 , 这 一 o- 代数 显然 属于 с 代数 (ВТ) 于 是 连同 (16) 式 就 可 以 证 明定 理 ? 
的 两 个 命题 . 口 
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这 样 , с КЖ (ВТ) 中 任何 博 雷 尔 集 А, 决定 于 (至 少 在 可 数 个 点 tita 
E) 加 在 函数 上 r(x), t Е Т, HAR. 特别 , 由 此 可 见 , 依赖 于 函数 在 不 可 数 点 上 的 
性质” 的 集合 
А, = {xz : 对 于 一 切 te [0,1], т, < С}, 
Аз = {x : 至 少 对 于 一 个 te [0,1], ze = 0}, 
Аз = {x : 在 固定 的 把 to [0,1], х, Е}, 
ЖЕ Е. 而 所 提 到 的 三 个 集合 确实 不 属于 .多 (RO,H). 
现在 证 明 这 对 于 А, 成 立 . 假如 А, с HRON, 那么 根据 定理 4 存在 这 样 的 点 
(20,10,...) 和 集合 ВО с BRS), 使 


fa : вирт, < С,ЁЕ 01) = {2:1 = (T, £, ) Є В}. 
$ 
显然 , 函数 и, = С 一 1 属于 A, ММ (ую, уо) ЄВ. 定义 函数 


р С—1, ЖЕ (#0,10,...), 
”lcC+l, 车 t¢ (0, 90,...). 


(0:0, Шо, с) 一 (2,9, 249，…)， 
从 而 , 函数 2 = (2) 属于 集合 | 
{x : (тю, тю, ) є В}. 


但 是 z = (2) 明显 不 属于 集合 {zx :sup zi < С}. 所 得 矛盾 说 明 A g GRON), 

由 于 关于 一 切 函 数 = (zi),t € [0,1] 空间 中 的 c- 代数 (РН), 集合 A, А, 
和 Аз 的 不 可 测 性 , 自然 地 应 考虑 较 窗 的 函数 类 , 以 便 使 这 些 集合 成 为 可 测 的 . 直观 
上 明显 , 作为 这 样 的 空间 , 例如 可 以 考虑 连续 函数 的 空间 . 

6 可 测 空间 (C,. 罗 (C)) BT = [0,1], 而 C 是 连续 函数 z = (zh),0 和 ts 和 ll 的 
空间 . 该 空间 关于 均匀 度量 


р(2,у) = sup |+ — ТА 
ЄТ 


是 可 测 空 间 . 在 空间 С 中 可 以 引进 两 个 o- АЖ: .多 (C) 是 由 柱 集 生成 的 o— АЖ 
而 BC) 是 由 (关于 度量 p(x,y) 的 ) 开 集 生成 的 o- КЖ. 现在 证 明 , 两 个 с № 
数 实际 上 重合 BC) = „Я (С). 

设 В = {r:r <b} EREE. ЭЙ, 此 集合 是 开 集 . 由 此 可 见 


(2:11, < by Te < bn} є (С), ШЇП BO) <.) 
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ЖБ, 考虑 集合 В, = {y :YE 5ь(:°) }, 其 中 z? 是 C 中 的 某 一 函数 , 而 


S(x?) = {x € C : sup |z: 一 zol< р} 
tET 


是 以 х0 为 球 心 的 开 球 . 由 С 中 函数 的 连续 性 , 可 见 
В, = {y E€ C : y € 5,(2')} = {у Є С: шах | — 26| < р} 


tk 


其 中 т 是 区 间 [0,1] 上 的 有 理 点 . 于 是 (С) C .多 (CO). 

空间 (C, BC), p) 是 完备 的 而 且 是 可 分 的 ; [5], [57]. 

7. 可 测 空间 (D, .多 (D)) R D ÆRA r= (z1),0 < t < 1, 的 空间 , 其 中 每 一 
个 函数 右 连续 т, = (z4), t < 1 而且 对 于 任意 上 0 HERR. 

像 空间 С 一 样 , 在 空间 D 上 可 以 定义 度量 а = d(x,y), 使 BaD) = BD), 
其 中 BD) 是 由 开 集 生成 的 o 一 代数 , (D) нЕ o- 代数 ， 这 时 
(D, 儿 (D),d) 是 可 分 空间 ; [5], [57]. 关于 均匀 度量 是 斯 科 罗 圳 德 (А. В. Скороход) 
引进 的 , 定义 为 : 


d(x,y) = inf fe >0:JA ECA, sup |2, — yael 十 sup [t — A(t)| < | ， (18) 
其 中 A Ж [0,1] 上 的 严格 递增 连续 函数 Alt), E AO = 0, A(1) = 1 的 集合 . 
8， 可 测 空间 | [[2, НЯ.| HER (RT, ERT) 是 Т Ч ЖН, 连同 其 
ЄТ ЕТ 
博 雷 尔 集 系 . 在 概率 论 中 , K (RT, BRT) 外 , 还 考虑 用 如 下 方式 构成 的 可 测 空 间 
П Qu, НЯ. | 


{ЄТ ЄТ 
Ж Т Е РАНЕН, (О,,.9,) 是 可 测 空间 te7. іа 


9 = | |9, 


ЄТ 
为 一 切 函 数 w = (о), ЄТ, 的 集合 : 对 于 每 个 te Tw Eh. 
不 难 验 证 , 一 切 有 限 个 不 相交 柱 集 的 并 
Эа (Bi хх Ва) = осо, Е Ву, я, € Bah, В, Е. 


МАКИ. U HF, 表示 包含 一 切 柱 集 的 最 小 o- 代数 , 而 可 测 空间 (Го, 


ЄТ 


НЯ.) 是 可 测 空间 (0,7) HLR 


. 1 „Р ] 
. 
ri Ri 
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9. 练习 题 
1. # .多 ! 和 .多 , 是 空间 О 的 子 集 的 c- 代数 . 问 集 系 


810.855 = {А: АЕ. MAEL}, 
Я UB = {А: Ac B EÈ AEB} 


是 否 o- КЖ? 
2.9 Z = {D Рр, 是 9 的 菜 一 可 数 分 割 , 而 .多 = 0(2?). Н o- 代数 .多 
的 势 如 何 ? 
3. 证 明 
BR”) BR) = F(R"). 


4. 证 明 第 4 小 节 的 集合 (b)~(f) 属于 BR”). 

5. 证 明 第 5 小 节 的 集合 A ЖА, 不 属于 EROI). 

6. 证 明 函 数 (18) 确实 是 度量 . 

7. WERB R”) = BR”), п > 1, М BR”) = BR”). 

8. С = СЇ0,со) 是 定义 连续 函数 = (z1),t > 0 的 空间 , 证 明 , 像 С = Cl0,1] 
的 情形 一 样 , 该 空间 关于 度量 


Сх) 
р(т, у) = 5 2 min | sup |2; 一 wh ,T,Y EC, 
“一 0<{<п 


是 完备 可 分 度量 空间 , Ш (С) = .多 (C), 其 中 (0) 是 由 开 集 生成 的 o- КЖ 
(С) 是 由 开 集 生成 的 с 代数 . | 

9. UERR, (定义 2 的 ) Ж (Ал), (Аь), (№), 与 ( 注 2 中 的 ) 条 件 (Aa), (м), (А) 等 
价 . 

10. 由 定理 1 证 明定 理 2. 

11. 证 明 , 定理 3 中 的 Я REA- Ж. 

12. Жо 代数 为 可 数 - 生成 的 或 可 分 的 , 如 果 它 有 某 个 可 数 集 类 生成 

(а) 证 明 , 空间 О = (0, 1] 中 博 雷 尔 子 集 的 о 代数 .多 是 可 数 — 生成 的 . 

(b) 证 明 , (例如 ) 如 下 的 情形 是 可 能 的 : 两 个 o- 代数 多; #9, НЯ с. 
但 Fa REK, 而 Я, 不 是 可 数 生成 的 . 

13. 证 明 , с 代数 Я 是 可 数 — 生成 的 充分 和 必要 条 件 是 : 对 于 某 一 随机 变量 
X? = 0о(Х) (о(Х) МЕХ М, 54 第 4 小 节 ). 

14. 举例 说 明 可 分 o 一 АЖ, 其 相应 的 下 о 代数 是 不 可 分 的 . 

15. 证 明 Xi, Хо, ... 是 独立 随机 变量 序列 54, 55, 如 果 对 于 任意 n > 1,c(X,) 和 
0o(X1,… ,Xn-1) 相互 独立 . | 

16. 举例 说 明 两 个 o- 代数 之 并 , 不 是 o 一 代数 . 
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17. 设 A, 和 .有 。 是 两 个 独立 的 集 系 , 且 每 一 个 都 是 x 一 Ж. 证 明 о(61) 和 
с(.#2) 也 相互 独立 . 举例 说 明 , 虽然 两 个 不 是 tr- 系 的 集 系 .多 1 M A 独立 , 但 是 
с(.ё1) 和 aola) 不 独立 . 

18. 8 -Z Æ- Ж, М 

{A4,BEe Z, ANAB=øØ}> {4UBEe Z}. 

19. 设 Fi MIF, ЕО 上 的 子 集 的 两 个 с— АЖ. 记 

dF 1,92) =4 sup |Р(А; Аз) - Р(А,)Р(А5)|. 
А: Е 
AEF 3 
证 明 , dF, F a) REF MF 的 相依 程度 , 且 具 有 如 下 性 质 : 

(a) 0 < dF i, Fa) < 1; 

(b) Ж 7, M Fa З, № aF, Fa) = 0; 

(с) 4(.9 1,.# 2) =1 SHNA Я М Я, 的 交 含 概率 为 1/2 的 事件 . 

20. 利用 引 理 1 的 证 明 方 法 , 证 明 存 在 唯一 含 多 ЖА А Ж л) 和 т Ж 
т(@). 

21. 设 .名 是 一 集合 代数 : 对 于 任意 不 相交 的 和 集合 序列 (An)ny1, Аһ Е в, Н 


| А, E Æ, 
n=l 
证 明 .— 是 o 一 代数 . 
22. 设 (F ) а> 是 递增 С 一 代数 序列 ， F n C F nyn 之 1. 证 明 UF n 是 
(一 般 刚好 是 ) 代数 . 


23. 设 Я 是 代数 (或 o- 代数 ), 而 С 是 2 中 某 一 集合 . 考虑 由 | {С} 生成 
的 最 小 代数 (相应 地 o 一 代数 ). 证 明 这 一 代数 (相应 地 o 一 代数 ) 的 一 切 元 素 具 有 集 
合 (АПСЦВПО) 的 形式 , 其 中 А,В с.ж. | 

24. Ж R = RU{-œ} {со} 是 扩展 的 数 轴 . ВЕД о 代数 BR) 定义 为 ( 见 
第 2 小 节 ): 由 集合 [--со, 2], x Е R, 生成 的 с- 代数 , Е |[-со, 1] = {—оо}[)(—оо, т). 
证 明 这 一 с 代数 DR) 与 由 集合 生成 的 任何 o- 代数 重合 : 

(а) [-со,т),тЕ R, 或 

(b) (т, оо], т € R, 或 

(с) 一 切 有 限 区 间 {оо} 和 与 {оо}. 


53. 在 可 测 空间 上 建立 概率 测度 的 方法 


1. 可 测 空间 (К,.#(Е)) B P(A) 是 定义 在 数 轴 的 博 雷 尔 集 上 的 概率 测度 . 取 
А = (-со, т) + 
F(z) = Ро, 1,6 R. (1) 
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这 样 定义 的 函数 其 有 下 列 性 质 : 
1) Р(х) 是 非 减 函数 ; 
2) Е(—со) = 0, Р(+оо) = 1, 其 中 


Е(—со} = lim F(z), (+оо) = Ша F(z); 
ж|—со хТоо 


3) F(z) 在 每 一 点 ZE 了 右 连续 且 有 左 极限 . | 

第 一 条 性 质 显然 , 而 另 两 条 性 质 可 以 由 概率 测度 的 连续 性 得 到 . 

定义 1 满足 上 述 性 质 1)~3) 的 任意 函数 Р(х), ЖЖ (Жк E) №№ АЖ. 

于 是 , 与 (R 2R) 上 的 每 一 个 概率 测度 Р, (由 于 (1) 式 ) 有 一 个 分 布 函数 与 之 
相对 应 . 道 命 题 仍然 成 立 . 

定理 1 ЖР=Е(т) ж К Ежа. 那么 , (В,.8(Е)) 上 存在 唯 
一 一 个 概率 测度 Р, 使 对 于 任意 -o <а<ьЬ < оо, ж 


Р(а, = F(b) — F(a). (2) 


证 明 设 . 有 是 集合 4 e 民 的 代数 , 其 中 每 一 个 集合 是 形 如 (a,b) 的 有 限 个 不 相 


交 区 间 的 和 : 
А = У (ax, В+]. 
К=<—1 
在 这 些 集合 上 定义 一 集 函 数 Po: 
Po(4) = У [Е (bz) – Е(аь)], A € £. (3) 


k=1 


此 式 在 代数 .名 E, 由 F 唯一 确定 一 有 限 — 可 加 集 函 数 . 因此 , 如 果 可 以 证 明 在 代 
MAA ERK FERTH- 可 加 的 , 则 概率 测度 卫 在 . 罗 (R) 上 存在 性 和 唯一 性 , 可 
以 直接 由 测度 论 的 一 般 结果 得 到 (这 里 不 加 证 明 而 直接 引用 , 例如 , 其 证 明 可 以 参见 
[42], [701). / 

FARAZ E (С. Carathéodory) 定理 ANAX- A 是 其 子 集 的 代数 ， 
nB = oA) 5.6 的 最 小 0 一 代数. 记 jo (9..8) 上 的 ao- 有 限 测 度 ( 即 
0 一 可 加 集 函 数 ). ЖА, 在 (9,9) 上 存在 且 唯 一 测度 凡 是 ро Б, Вр 


ША) = но(А), А є... 


这 样 , 我 们 现在 证 明 , 函数 Po 在 .名 上 可 数 — 可 加 ( 即 是 概率 测度 ). 根据 81 的 
定理 1, 为 此 只 需 验证 Po 在 © 连续 , 即 


P(A,) 10, An | Z, An E É. 


‚ 160 - 第 二 章 ”概率 论 的 数学 基础 


设 А, 42,…- ЕН ДНИ] Н А, | с. BE, 假设 А, 属于 某 一 
闭 区 间 [-№, №), N < оо. МЛ А, 由 形 如 (а, 6) 的 有 限 个 区 间 的 和 构成 , 且 由 于 函数 
F(x) 的 右 连 续 性 : Ча’ |а 时 


Pola’, b] = F(b) – Е(а') > F(b) – F(a) = Ро(а, b], 
可 见 对 于 每 一 个 А, 存在 一 个 集合 В, є 2, 使 其 闭 包 [Bn] СА, А. 
Po(A,) — Po(Bn) < 2", 


其 中 е 是 某 一 事先 给 定 的 正 数 . 
根据 假设 ПА, = ©, 因而 门 [B,] = 2. 因为 [Br] 是 闭 集 , 所 以 存在 no = no(e)， 

使 | 
Г] [Ba] = 2. (4) 


п= 1 
实际 上 , [-№, №] ЖЖ, MER {{-N, М\В „>: 是 该 紧 统 的 开 改 盖 . 那么 , 根据 
海 涅 - 博 雷 尔 [H. Е. Неше-Е. Borel) 引 理 (例如 , 参见 [1],[33]), FEK У: 


Та) 


(j= №, NIMB в) = [-М№, М], 


n=l 


ВР 


по 


Г) [Br] = е. 


n=l 


考虑 到 (4) 式 ， АЖ Ans © Ano- 1©- CA, 有 


Ро( А) 一 Ро а по \ Г в, + Ро (ñ ве) 一 Ро Ал Г в) 


k=1 


< Р, (Ола | < рылма) < У `2 к< є. 


==] к=] 


因此 Р,(А,,) | 0,» — оо. 
现在 去 掉 条 件 : 对 于 某 个 МА, C [N,N]， 对 于 给 定 的 <s > 0, 选择 N, 使 
Ро[-М№, N] > 1 一 ef/2. ЖА, 由 于 


Ån = An N[-N, N] + An п {—М, N], 


Poln) = PolAn Г\ [一 


N,N|) + Po(An п [-- №, №]) 
< Ро(А, п |-М, N 


]) + =/2, 
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由 上 一 段 的 结果 (只 是 将 其 中 的 А, R AN-N, ND) 可 得 , 对 于 充分 大 的 n, 有 
Po(4n 门 [一 入 , N) < =/2. РЖ, 仍然 得 到 Po(An) | 0,» 一 œ. 0 
这 样 , 在 (R, 2R) 上 的 概率 测度 Р 与 数 轴 上 R 的 函数 F 之 间 , 存在 一 一 对 
应 关系 . 习惯 上 , 把 由 函数 F 建立 的 测度 Р, 称 做 对 应 于 分 布 函数 F RH ДЖ — М 
РУ (Н. L. Lebesgue-T. J. Stieltjes) 概率 测度 . 
特别 重要 的 情形 是 , 如 果 


0 #r<0, 
Е(т) = < х, Ж0<х<1, 
1, Ж х>1. 


这 时 , 相应 的 概率 测度 ( 记 作 А), 称 做 区 间 [0,1 上 的 勒 贝 格 测度 . 显然 , Ala, b) = 5—а, 
其 中 0 < a < b < 1. 换 句 话说 , ХМ (а, Б) (以 及 区 间 (а, Б), [а, 5), [а,5)) ЕЯ 
测度 就 等 于 区 间 的 长 度 5b 一 a. 
以 
#([0,1]) = {AN [0,1]: A € .BR)} 


表示 区 间 [0,1] 上 博 雷 尔 集合 的 全 体 . 除 博 雷 尔 集合 外 , 往往 需要 考虑 区 间 [0,1] 上 
所 谓 勒 贝 格 集合 . 称 集合 A C [0,1] 属于 集 系 #([0,1]), 如 果 存 在 博 雷 尔 集合 А, В, 
 АСАСВ Н ЖВ\А) = 0. 不 难 验证 , .多 (|0,1]) 是 о- АЖ. 正 是 把 .多 (|0,1]) 称 
做 区 间 [0,1] 上 勒 贝 格 集合 的 集 系 . 显然 .多 ([0, 1]) < (0,1). 

暂时 仅 定 义 在 .多 ([0,1]) 中 集合 上 的 测度 和 可 以 自然 地 开拓 到 勒 贝 格 集 系 
.多 ([0,1]) Е. 具体 地 说 , 如 果 ле.8(0,1]) EACAC RB, AFER A,B c .多 (|0, 11) 
В A(B\A) = 0, MJR AA) = АА). 不 难 验证 , 这 样 定义 的 集 函 数 入 = 和 A(A),A є 
.多 ([0, 1]), Ж (10, 1],.#([0,1])) 上 的 概率 测度 , 称 做 ВНЕ ЕК) 勒 贝 格 测度 . 

注 1 所 采用 的 测度 完备 化 (开拓 ) 方法 , 不 只 适用 于 所 考虑 的 情形 . 例如 , 假 
设 (QFP) 是 某 一 概率 空间 ， 以 天 ”表示 Q 的 一 切 子 集 A 的 全 体 : 对 于 其 中 
每 一 个 子 集 A, 存在 АВЕ, ШАСАСВН Р(В\А) = 0， 自 然 , (利用 等 
式 P(A) = P(B)) 也 可 以 为 A < 多 ”定义 概率 测度 . 用 这 种 方法 得 到 的 概率 空间 
(QF Р), 称 做 空间 (Q, F, Р) 关于 测度 P 的 完备 化 . 

如 果 对 于 概率 测度 P, НЯ = Я, 则 测度 Р 称 做 完备 的 ， 而 相应 的 空间 
(2, F P) 称 做 完备 概率 空间 . 

注 2 现在 简单 地 阁 述 卡拉 索 奥 多 里 定理 的 证 明 思路 , 假设 其 中 yo(Q) = 1. 

& А 是 О 中 的 集合 ， 41, 4.,... 是 НИЖЕ, НЕА А: АС 
UZ Ав. 定义 集合 А 的 外 测度 (А) 如 下 : 


и*(А) = inf У ро(А,), 


n=l 
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其 中 inf 对 集合 А-Я Еж (А, Ао,...) ЖЖ; 而 


H(A) = 1 — u” (A) 


称 做 集合 4 的 内 测度 и, (А). | К 

设 Вон п, (4) = (4) 的 集合 4 的 全 体 . 不 难 证 明 , ЖЖ .名 E o 
代数 (练习 题 12), 因而 A C ol) E. 赋予 .多 中 集合 4 “МВ (А), 令 其 
等 于 j*(4)(= р.(А)). 函数 uA) 确实 是 测度 (练习 题 13), ВП (А) 确实 是 可 数 一 
可 加 集 函 数 (并 且 是 概率 测度 , 因为 (О) = (Q) = 1). 

HÆR Pha, b] = Е(Ь) – Fla) 建立 的 , 概率 测度 P 与 分 布 图 数 FF 之 间 的 一 一 对 
应 关系 , 使 得 可 以 由 相应 的 分 布 函数 构造 各 种 概率 测度 . 

离散 型 测度 ” 若 分 布 函数 F Р(х) 是 阶梯 函数 ， 则 对 应 的 测度 称 做 离散 型 
测度 . 对 于 离散 型 测度 , 分 布 函 数 仅 在 (有 限 或 可 数 个 ) 点 т1,хо,--- 改变 其 数值 : 
АР(2;) > 0,1 = 1,2,.…, 其 中 АР(т) = F(X)— F(z 一 ){ 图 25). 在 这 种 情况 下 测度 集 
中 在 点 zx1, £23, E: 

P({zx}) = AF(zk) >0, > Р({к}) =1. 
k 


Fœ 


| AF (хз) 
| АРС) 


Xi х, х; х 


图 25 


数组 (pipz), 其 中 р, = Р({х,.}), 称 做 离散 型 概率 分 布 , 而 相应 的 分 布 函 数 
Е = F(x) 称 做 离散 型 的 . 
下 表 是 最 弟 见 的 离散 概率 分 布 类 型 及 其 名 称 . 


О<р< ,9= 1-р 
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绝对 连续 测度 ” 称 测度 为 绝对 连续 的 , 如 果 存 在 非 负 博 雷 尔 水 数 f(t),t ce В, 使 
НОЖ F = F(x) 可 以 表示 为 : 


к(а) = | с Коаь (5) 


其 中 的 积分 理解 为 黎 曼 (С. Е. В. Riemann) 积分 (而 在 一 般 情形 下 是 勒 贝 格 积分 
(86)). 

ЩЯХ f(t),t ER, 称 做 分 布 函数 的 密度 (概率 分 布 密度 , 或 简称 为 密度 ), 而 分 布 
函数 F = F(x) 本 身 称 为 绝对 连续 的 . 


表 2 一 3 
分 布 名 称 2 Ж 


正 态 或 高 斯 „ сту? | | 
(С. Е. Gauss) | | 
Ш 5 (Г) 
Н 数 
(参数 为 a = 1, № ^°, >0 А> 0 
В= А! Г №) 


(第 一 自由 度 ) т = 1,2, ..- 
(第 二 自由 度 ) п = 1,2, ... 


显然 , 任何 黎 曼 可 积 且 在 数 轴 上 的 积分 为 1 即 | f(z)dz = 1 的 、 非 负 博 雷 尔 
Р f = р(х), хе В, 由 (5) 式 决定 (R, 8R) 上 某 一 概率 测度 的 分 布 函数 . 表 2-3 
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列 出 了 概率 论 与 数理 统计 中 特别 重要 的 , 不 同类 型 的 概率 密度 f = Р(х) 的 例子 , 并 
且 指 出 了 其 名 称 和 参数 . (在 表 中 未 指明 х= 值 的 , 认为 f(x) = 0.) 

奇异 测度 т 为 分 布 图 数 Fa) 的 增长 点 , 如 果 对 于 任意 s > 0, 有 Р(х + 
=) 一 F(x 一 e) > 0. 测度 称 为 奇异 的 , 如 果 其 分 布 函数 F(z) 连续 , 但 是 在 其 增长 点 集 
合 的 勒 贝 格 测度 等 于 0. 回避 有 关 这 样 函数 构造 的 细节 (例如 , 可 以 参见 [70]), 我 们 
仅 限 于 举 一 个 “传统 的 ”例子 . 

用 下 面 的 康 托 尔 (G. Cantor) 方法 , 构造 区 间 0,1] ЕЁ? РЖ F(z). 

将 区 间 [0,1] 分 成 三 等 份 , 并 且 设 (图 26) 


1/2, # x € (1/3,2/3), 
(1) = 40, 着 z=0 
1, Фї т = 1, 


АЕ РНР В Р, (х) 补充 上 定义 . 


图 26 图 27 


其 次 , 将 区 间 [0, 1/3] 和 [2/3, 1] 中 每 一 个 仍然 分 成 三 等 份 , 并 且 建 立 函数 (图 
27): 
1/2, жх є (1/3,2/3), 
1/4, же (1/9,2/9), 
F(x) = 4 3/4, Æ zx € (7/9,8/9), 
0, #r=0, 
1, Еж = 1, 


也 用 线性 内 插 法 再 给 函数 Р(х) 补充 上 定义 . | 

重复 这 一 过 程 , 将 建成 函数 序列 Р(т),п = 1,2,.... RAJTI {F (х) КЖ 
于 某 非 减 连续 函数 F(x) ( 称 为 康 托 尔 函数 ), 而 且 其 增长 点 的 集合 的 勒 贝 格 测度 为 
0. 事实 上 , 由 函数 Р(х) WELET L, Fa) 为 常数 的 区 间 (1/3,2/3), (1/9,2/9), 
(7/9,8/9),--- 的 总 长 度 为 


1 2 4 1 2\" 
чот 3 (3) = 1. (6) 
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以 .Y 表示 康 托 尔 (G. Cantor) ИЖ F(z) 的 增长 点 的 集合 . 由 (6) 式 可 见 
МУ) = 0. 同时 , 假如 и 是 对 应 于 康 托 尔 函数 F(z) 的 测度 , 则 „(у = (E 
这 种 情形 下 , 称 测度 4 РЫЖИЕ 入 为 奇异 的 .) 

我 们 不 准备 过 多 的 讨论 关于 分 布 函数 的 可 能 类 型 的 问题 , 只 限于 指出 , 实际 上 上 
面 指出 的 三 种 类 型 包含 所 有 的 分 布 函数 . 确切 地 说 , 任何 分 布 函数 F(x) 都 可 以 表示 
为 : 

F(x) = aF (x) + а2Е2(т) + az F(x), 


其 中 Р. (х) ЕВЕ ЖЖ Pia) 是 连续 型 分 布 函数 , Ез(х) 是 奇异 型 分 布 函数 ， 
而 ali = 1,2,3) 是 非 负 实数 , 而 且 al +az + оз =1 (练习 题 18). 

2. 勒 贝 格 测度 到 数 轴 上 的 开拓 定理 1 ERAR) 上 的 概率 测度 与 及 上 的 
分 布 函数 之 间 , 建立 了 一 一 对 应 关系 . 分 析 该 定理 的 证 明 可 见 , 实际 上 有 更 为 一 般 的 
结果 , 其 中 包括 可 以 在 整个 数 轴 上 引进 所 谓 勒 贝 格 测度 . 

Я р Ж RQA) ER o- 有 限 测度 , 其 中 .名 是 9 子 集 的 代数 , 结果 表明 , Ж 
于 测度 jy НАЖ .多 开拓 到 最 小 o 一 代数 oA) 的 卡拉 泰 奥 多 里 定理 结论 , 对 于 o 
有 限 测度 仍然 成 立 , 这 为 定理 1 的 推广 提供 了 可 能 性 . 

使 对 于 有 限 区 间 了 工 的 测度 (Т) < оо 的 任何 с – 有 限 测 度 u, RA (R,.B(R)) 上 
的 勒 贝 客 -斯 闹 尔 切 斯 测度 . 我 们 把 定义 在 数 轴 及 上, 值 域 为 (-o0, оо) 的 任何 不 减 
右 连 续 函 数 С = С(х), 称 为 广义 分 布 函数 . 

定理 1 可 以 这 样 推 广 , 使 公式 


и(а, Ы = G(b) — С(а),а < b, 


仍然 可 以 建立 勒 贝 格 - 斯 蒂 尔 切 斯 测度 и 与 广义 分 布 函数 С 之 间 的 一 一 对 应 关系 . 
实际 上 , ШЖ G(+00) — @(—со) < оо, 则 定理 1 的 证 明 完全 适用 , 并 且 无 需 作 任 

HAE, 因为 可 以 将 这 种 情形 归结 到 С (оо) - G(-co) = 1 和 G(-oo) =0 的 情形 . 
现在 假设 G(+co) — С(--оо) = оо. $ 


G(x), |< п, 
С(п), Жх>п, 
С(—п), Чт < п. 


在 代数 .名 上 定义 有 限 - 可 加 测度 ро, 使 其 在 (a,b) 的 值 uola, 6] = G) – С(а), 
而 设 р» 已 经 是 ( 按 定理 1) 建立 的 、 对 应 于 函数 的 Gal) 的 可 数 - 可 加 测度 . 

显然 , Æ £ E un Ти. B А, А, 是 8 上 的 两 两 不 相交 和 集合, Н А = 
УА, E Æ. ЖА, (51 练习 题 6) 


шо(А) 2 У. Ho( An). 


n=] 
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mE, WR У jo(An) = оо, № 


pol A) = Уу; ро(Аа). 


n= 1 


现在 假设 > Lo(An) < оо. ЖА 
(А) = lim (А) = lim > р. (А). 
k= | 
根据 所 作 的 假设 人 1o(4。) < оо. 因此 , 由 ин < uo ЯМ, 


0 < (А) — > `ро(Аь) = lim | ,pn(Ax) — мо(Ак)| < 0. 
k=1 k=1 

这 样 , o-- 有 限 可 加 测度 ро 在 .名 上 是 有 限 - 可 加 的 , 因此 (REFARAS 
里 定理 ) 它 可 以 开拓 到 o( A) 上 的 o- 有 限 测 度 jy. 

G(r) = т 的 情形 特别 重要 . 对 应 于 这 一 广义 分 布 函数 的 测度 , RA (R, BR) 上 
的 勒 贝 格 测度 . 像 区 间 [0,1] 的 情形 一 样 , 在 数 轴 上 可 以 引进 勒 贝 格 集合 系 ORNA < 
BR), 如 果 存 在 勒 贝 格 集合 AMB, № АСЛС В, Л(В\А) = 0), ТАЯ Вр 
可 以 定义 勒 风格 测度 入 (E 4 C AC B,Ae. 多 (R) Н ЖВ\А) = 0, W (А) = (А). 

з. AAZ (R AR”) ”如 同 数 轴 的 情形 , 假设 P 是 (R, 8R) 上 的 某 


一 测度 . 
w 
nz ,£n) = Р((-оо, x1] х ---х (=, £n]), 
其 更 紧 姿 的 形式 为 
Fn(Z) = P(—, z1x], 
其 中 x = (z1, En), (оо, 2] = (оо, 1] x .Xx (一 oo, тп]. 


引进 R” Е 的 差分 算 子 Aab 按 如 下 公式 运作 (а; <b): 


Аз.ь. Fn(T1,:…: En) = Ри (Ti, , Zi—1, bi, Ху, -: , Tn ) 


一 机 (Za 
通过 简单 的 运算 , 可 得 
Asp An 机 (zzZn) 二 了 (ao 中， (7) 
其 中 (а, 6] = (au 61] x … х (an,bn]. 特别 , 一 个 不 同 于 一 维 情形 之 处 是 , 一 般 


Р(а, 0 # Е» (5) — Ека). 
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由 于 Р(а, b] 之 0.: 故 由 (7) 式 可 见 ， 对 于 任意 а — (а, ап), б — (61, .-. ‚ bn ) 
Aab `` : Aanbn Ев (71, n. , Tn ) 之 0. (8) 


НР 的 连续 性 ， 可 见 Е, (т1,... ,zn) 对 于 变量 的 全 体 右 连 续 ， 即 如 果 z = 
(21, : g En) TK) — (2%)... 2187), 则 当 К | 1 时 


Е» (2®)) | Е, (т), k > оо. (9) 
同样 明显 ， 
fn 二 oo ,十 oo) 一 1 (10) 
和 
lim F(x1,... ,zn) =0, (11) 
sly 


假如 至少 有 一 个 у 的 坐标 为 — о. 

定义 2 ”满足 条 件 (8)~(11) 的 任意 函数 = F(z1,… ,zn), 称 做 (空间 В" 上 
№) п 维 分 布 函 数 

运用 与 定理 1 同样 的 论述 , 可 以 证 明 下 面 的 定理 . 

定理 2 H F= 本 (zl1,… ,zn) AR” PEDA Ek, 则 在 (R",.B(R")) 上 
存在 唯一 概率 测度 卫 , 使 


Р(а, bj = Aab, s. Aa,b, Ри (тт, б, Tn). (12) 


ЛД п 维 分 布 函 数 的 例子 . 
设 Fi, Р" 是 RR 上 的 一 维 分 布 函数 , 而 


Fn(z1 ,Tn) = ЕЁМ(тү)-.. F” (£n). 
显然 , 该 函数 右 连续 , НЯ ЖА (10) 和 (11). 不 难 验 证 
Аль, TnS Aa,b, Еь(т1, n. Tn) — [| [F" (bp) — ЕЁ (ак) > 0. 


因而 Falsi, ,zn) 是 一 分 布 函数 . 


PR Ж 
0, Ё ть < 0, 
Е*(хь) = { т, Ж О<тк<1, 
1, #2 >1 


的 情形 特别 重要 . 这 时 , 对 于 一 切 0 < zk < 1,k=1,.… „п, 有 


Е (21,- Tn) = L] ttt En- 
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对 应 于 这 一 п 维 分 布 函 数 的 概率 测度 , 称 做 [0, 1" 上 的 n 维 勒 贝 格 测度 . 
多 数 п 维 分 布 孙 数 具 有 如 下 形式 


Falen sn) = | -| (Ча. ,tn)dti... dt 


其 中 f(t1,… ,tn) 非 负 函数 , 且 满 足 


J =] falti ,tn)dti:.. dtn = 1, 
— бо -一 Сул 


而 积分 可 以 理解 为 黎 曼 积分 (在 更 一 般 的 情形 下 应 理解 为 勒 贝 格 积分 )， 函 数 f = 
fn(t1,… ,tn) 称 做 nt 维 概率 分 布防 数 的 密度 , тп 维 概率 分 布 密度 , 或 简称 为 n 维 密 
ДЕ. 

当 п = 1 В, ИЖ 


(== т) 
e 22 ,TE В, 


1 
f(z) = ло 
其 中 o > 0, 是 ( 非 退化 ) 高 斯 分 布 密度 或 正 态 分 布 密度 . 当 m”> 1 时 , 存在 这 一 密度 
的 自然 类 似 情形 . 
议 В = (ry) 是 一 nxn ЗЕ ERRER: 
3 rijAiA; 之 0, А; Є К, 1 — 1,--- ‚Т 
5,3—1 
Гар = Ту. 
当 В 是 正定 矩阵 时 , 其 行列 式 |В| = det В > 0, МЕЕ А = (ay) B-L. 
那么 , 函数 


A 1/2 
№ (11, t п) = уа е р 了 У а(х — пы) (т) ут), (13) 


其 中 mi € R, i= 1,… ,n.fn(T1,… , т) 具有 下 列 性 质 : falti, т) > 0, НЕ 
个 空间 上 的 (п ERS) 积分 等 于 1( 这 将 在 813 证 明 ), 且 由 于 它 是 正 的 , 故 是 概率 密 
Ж. 

这 一 函数 称 做 n Ж ( 非 退 化 ) 高 斯 分 布 密度 或 正 态 分 布 密度 , 其 均值 向 量 为 т = 
(mi,… ,mn), 而 协 方差 矩阵 为 B = А. 

当 n = 2 М, 密度 [2(т2,т2) №: 


] 1 
f2(72, £2) = 一 一 天 一 ех |- 
22,12) 27roloov/ 1 р? “1 20-— р?) 
2 2 (14) 
x Tm) _ 2р(т1 — пи)(2 — тз) ‚ (72 — то) 
a? G109 о? ' 


其 中 о; > 0,|p| < 1. (关于 参数 m;,o; 和 p 的 含义 将 在 $8 中 说 明 .) 图 28 是 二 维 正 
态 分 布 的 示意 图 . 
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图 28 二 维 正 态 密度 的 图 形 


+ 像 n=1 的 情形 一 样 , 定理 2 可 以 推广 到 (与 定义 类 似 的 ) (R”,. 多 (R”")) 上 的 
ЖЛ} - 斯 蒂 尔 切 斯 测度 , 以 及 R 上 的 广义 分 布 函数 . 当 广 义 分 布 图 数 Gn(zl……， 
zn) 等 于 x1.… zn В, 相应 的 测度 称 为 空间 в” 的 博 雷 尔 集合 上 的 勒 贝 格 测度 . 显然 ， 
对 于 博 雷 尔 集合 上 的 勒 贝 格 测度 ， 


Ж О 
(а, 6] = (а1, 61] X --- х (an, bn] 


的 勒 贝 格 测度 等 于 其 “体积 ”. 

4. 可 测 空间 (в>,.®(в>)) ”对 于 空间 R",n > 1, 的 情形 , 概率 测度 是 按 如 下 
模式 建立 的 : 首先 从 基本 集合 形 如 (a,b) 的 “矩形 ”出 发 , 然后 将 其 目 然 地 扩展 
到 形 如 集合 А = У (б, 最 后 根据 卡拉 泰 奥 多 里 定理 将 其 开拓 到 BR”) 中 的 集 


Жа 
= 


类 似 的 建立 概率 模型 的 模式 , 也 “适用 于 ”空间 (了 有” ,. 罗 (了 = )) 的 情形 . 以 


9„(В) = {т Е R” : (11,--: ,Tn) E B}, B E BR”) 


表示 空间 R” 中 B e . 罗 (R”) 为 “ 底 ” 的 柱 集 的 集合 . 我 们 将 看 到 , 正 是 把 柱 集 目 然 
地 视 为 воо 中 的 基本 集合 , 并 根据 其 概率 的 值 定义 BR) 中 集合 上 的 概率 测度 . 
假设 P 是 空间 (Re ,. 罗 (Rc)) 上 的 某 一 概率 测度 . 对 于 п = 1 2…… W 


Р„(В) = P(J n(B)), Be 2(R"). (15) 


相应 地 定义 在 (R,. 罗 (R)), (R?,.2(R?)),… 上 的 概率 测度 Pi, Po 序列 , 具有 
如 下 明显 的 一 致 性 : 对 于 n=1,2,:… Я ВЕ. (®”), 


Рь+1(В х Ҝ) = РВ). (16) 


特别 值得 注意 的 是 , 相反 的 结果 也 成 立 . 
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定理 3 ( 柯 尔 莫 戈 洛 夫 关 于 (R™”,. 多 (R™”)) 中 的 测度 ) M Pi, Po Ж (К, 
(К), (®?,.#(Е?)),... Е, 具有 一 致 性 (16) 的 概率 测度 序列 . 那么 , 在 (К°°,.@(К°°)) 


Р(2„(В)) = PB,(B), Be BR"). (17) 


证 明 假设 Be 多 (R") 而,.(B") 是 以 В" 为 “ 底 ” 的 柱 集 . 赋予 该 柱 集 以 测 
В Р(Я„(В”)) = Р„(В"). 

现在 证 明 , 由 于 一 致 性 条 件 , 这 样 的 定义 是 适 定 的 , 即 Р(9„(В”)) 的 值 与 柱 集 
的 表现 方法 无 关 . 事实 上 , 假设 同一 柱 集 有 两 种 表示 方法 : 


F „(В") =F „к (В+). 
那么 , 由 此 可 见 , 车 (zx1,… тарк) © В”, 则 
(21, -- т.) EB (ш, ,Tnik) Е В", (18) 
从 而 , ЕН (16) Ñ, 有 
Р.(В") 一 Pnri((z1, ‚ Tn+1) : (T1, 17 ‚Тп) Є В") =r 
— n+k((£1, 77 , Tntk) : (21, r. Tn) Є В) — Pak (B+E). 

设 ARS) 是 一 切 柱 集 В" = 7 „(В"), В" с . 罗 (R"),n 二 1,2,... 的 全 体 . 易 见 
ARS) 是 代数 . 

现在 设 B1,.… , B* 是 ARS) 中 的 不 相交 集合 . 不 失 普 遍 性 , 可 以 假设 : 对 于 
ЖА п, 有 В, =9,(Вп), i = 1,2,… ,k, 其 中 B?,… ,Br 是 BR) 中 的 两 两 不 相 
交集 合 . 那么 ， 

k И К k И k И k 

P (> 8) = Р Уса) = Р, >; 8) = У`Р.(В") = X` P(B;), 
即 集 函 数 P 在 代数 AR) 上 有 限 - 可 加 . 

现在 证 明 , Р ТЕ <” 连续 (从 而 在 AR”) 上 с 可 加 ; М, 81 的 定理 ), 也 就 是 
说 , E һп— оо 时 В, | 2, 则 当 п — 00 时 P(B,)— 0. 

假设 相反 , 即 设 P(B,) 一 5 > 0. 不 失 普 遍 性 , 可 以 认为 : 

Bn = {т: (£1, , £n) Е Bn}, В, € BR”). 

利用 概率 测度 Р, ТЕ (R",. 罗 (R")) 中 的 如 下 性 质 ( 见 例 9): ШЖ В, Е 8R”), 
则 对 于 任意 给 定 的 5 > 0, 存在 紧 统 An € BR”), 使 An C В,,Р.(В,\ Ан) < 6/2"°+1. 
ЖЖ An = {2 : (£1, ть) € An}, М 


Р(В„\А„һ) = P,(Bn\An) < 6/2°+1. 
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考虑 集合 Cn = Пр, Ак, 假设 
С, = {x : £ = (£1, ,Tn) € Cn}. 
考虑 到 集合 序列 В, 递 降 , 得 


Р(В„\б„) < JO P(B, \ Âe) < ЎР(Вь\Аь) < 5/2 
k=1 k=1 


但 是 按 假 设 的 条 件 Р(В,) 一 56 > 0, 由 此 应 得 


д, д 


现在 证 明 这 与 С, | o 矛盾 . 

事实 上 , 在 集合 С, 中 各 选 一 点 RO = (1, 2...) ЖА, 对 于 任意 n> 1 

P = (1, ag) E Ch. 

设 (п1) 是 序列 (n) 的 这 样 一 个 子 列 , 使 re!) — 20, 其 中 x9 是 C1 中 某 一 
A. (这 样 的 子 列 存在 ， 因 为 一 切 gh Е С\, М С, ERA) 由 子 列 (n) 选 这 样 
一 个 子 列 (по), E (217), т?) > (19,28) є Co， 同样 , 设 (sH, eE) > 
(19... ‚50 Є С. 最 后 ， 得 对 和 角 序 列 (ть), 其 中 Mk 是 子 列 (nk) 的 第 k 项 . ЖА, 
对 于 任意 ;= 1,2,-.., 4 ть — со 时, A r r, 并 且 对 于 任意 m 1,2,…, 点 
(29,20,...) c Cn. 显然 , 这 与 假设 О, | Bn — оо 矛盾 . 

Т, ЖЮ Р 在 代数 ARS) 上 о- 可 加 , 说 明 根 据 卡 拉 泰 奥 多 里 定理 , 可 以 
将 P 开拓 为 R”, AR”) 上 的 (概率 ) 测度 . | Г] 

注 现在 考虑 的 情形 , 空间 R” 是 В 的 直 积 及 ce =ВхЕх... 自然 产生 一 个 
问题 , 假如 把 (R™, .多 (R”)) 换 成 可 测 空 间 (Qi 多;) 的 直 积 , 定理 3 是 否 仍 然 成 立 . 

只 要 仔细 分 析 一 下 该 定理 的 证 明 就 会 发 现 , 用 到 的 直线 具有 拓扑 特点 唯一 性 质 ， 
就 是 本 质 上 用 到 :“ 在 .多 (R") 的 任意 集合 4 中 存在 紧 统 , 使 其 概率 测度 可 以 任意 地 
接近 集合 4 概率 测度 ”. 不 过 熟知 , 不 仅 空间 (RAR) 具有 该 性 质 , 而 且 任何 完 
备 可 分 的 、 具 有 由 开 集 生成 的 o- 代数 的 可 测 空间 都 具有 这 一 性 质 . 

这 样 , 定理 3 对 于 如 下 情形 仍然 成 立 : Pi, Р,... 是 空间 


(U, F1), (NQ x FD Fa), 


上 的 满足 一 致 性 的 概率 测度 序列 , 其 中 (0,9) 是 完备 可 分 度量 空间 , с RAF, 
由 开 集 生 成 , 而 用 (Qi x 82 x … FDF) 代替 (RO, .9(В>)). 

在 89 (定理 2) 将 证 明 , 对 于 任意 可 测 空间 (n, F n), 如 果 测 度 Pu,n > 1 是 以 
茶 种 特别 方式 构造 的 情形 , 定理 3 的 结果 仍然 成 立 . 在 (关于 所 述 可 测 空间 , 或 测度 
(Р) 族 结构 的 拓扑 特点 无 任何 假设 的 ) 一 般 情 形 下 , 定理 3 可 能 不 正确 . 下 面 的 例 
子 就 说 明 这 一 点 . / 
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考虑 空间 О = (0,1, 它 显然 不 完备 . 在 此 空间 上 按 如 下 模式 建立 o- 代数 序列 
Я 1 CF, с .-.. 对 于 一 切 п =1,2,..., я 


(w) = 1, Ж0<ш<1/п, 
fnt 10, 车 1/n<w<l1 
2’, = {АЄО: А = |w: pnw) є В), В € @(Е)} 


而 Я, = ofi ,多 mn} 是 包含 集 系 多 1,… ,多 ,的 最 小 о- АЖ. ШЖ ЕС 
ЕК»; С... & Я =о(\)# „) 是 包含 集 系 一 切 到。 的 最 小 o- 代数. 考虑 可 测 空间 
(QF „), 并 在 其 上 以 如 下 方式 定义 概率 测度 已.: 


1, F (1,...,1) Е В", 
0, EDA, 


其 中 В" e .多 (R"). 不 难 验证 , 测度 族 是 一 致 的 : ШИ AEF n, W Papil A) = Р„(А). 
然而 可 以 证 明 , 在 (0,9) 上 不 存在 概率 测度 Р, 使 其 妆 缩 了 | 到, (即将 测度 P 仅 局 
限 在 多 ,中 的 集合 上 ) 与 Р,,п = 1,2,... 重合 . 事实 上 , 假如 这 样 的 测度 P 存在 . 
那么 , 对 于 任意 n = 1,2,:…, 有 


Pi{w : (1(0),:-: „е (0)) є В") = | 


P{w : (ш) = = ра(и) = 1} = Pafu :p12) = = фа(ш) = 1р= 1. (19) 


但 是 ， 
{ш : 21(ш) 一 = Pn(w) 一 1} 一 (0, 1/n) | 5, 
与 (19) AFE, 从 而 也 与 函数 P 的 可 数 可 加 性 (与 在 “ 零 ” о 的 连续 性 ) 矛盾 . 
现在 举 一 个 (R™”, .多 (R”)) 上 概率 测度 的 例 . 设 Р, (х), Ро(х),... 是 一 维 分 布 函 
数 序 列 . 定义 函数 С. (х) = Р(х), С2(21, 12) = 五 (z1)(72),… , а Р.Р... 为 与 
这 些 函 数 相 对 应 空间 (R,. 多 (R)), (R?,. 多 (R?)),… 上 的 概率 测度 . 那么 , 由 定理 3 可 
见 , 在 (R”, .多 (R”)) 上 存在 一 测度 , 使 


Р{тЕ R” : (11,-:.,т,) Е В} = Р(В), В € B(R”), 


特别 ， 


P{x € R” : £1 <Q ,Tn Зап} = Е (а): F(an). 
& Р(х) 是 们 努 利 分 布 函数 : 


0, ёх <0, 
Е;(х) = q HOSTI, 
1, Frl. 
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|24 Q 是 一 切 数值 序列 т = (21,29, :--), 2; = 0,1, 的 空间 ， DBRT) ПО 是 О 中 博 雷 
尔 子 集 的 o— 代数. 可 以 证 明 , 在 Q, ARNG 上 存在 概率 测度 P, 使 对 于 任意 


п = 1,2,..., Я 


Уа; n- Ха; 


Ptz:zli=al ,Tn = ün} = р 


需要 指出 , 正 是 因为 缺少 这 一 结果 , 我 们 在 第 一 章 85 中 不 能 以 (8) 式 的 形式 表述 大 
数 定律 . 

5. AMETE (Rf BR) ТЕГЕРЕТЕ ЖЖ, Ri 而 是 下 标 为 
t 的 数 轴 . 考虑 不 同 下 标 titi € Т 任意 无 序数 组 7 = [ti п: 1} Р, Ж 
(R, BR )) 上 的 概率 测度 , 其 中 R = Rt, х... x Ra. 

说 7 在 一 切 有 限 无 序数 组 的 集合 取 值 , 则 称 概率 测度 族 (Р, р 为 一 致 的 , 如 果 对 
于 任意 两 个 数组 r = |ti ta] Мо = [51,... ,sk] Вост, РЕН В EBR), 
有 


Ч 


Po (Ts Tsp) : (Ж, Tsp) Є В} 
= Р(жщ, улы): (шщ, зы) € В}. 


定理 4 ((R7,. 多 (RT)) 上 的 柯 尔 莫 戈 洛 夫 测度 开拓 定理 ) 设 {P} 是 (RT, 
9(ЕТ)) 上 的 一 致 概率 测度 族 , 则 在 (RT,. 罗 (RT)) 上 存在 唯一 概率 测度 P, 使 对 于 
一 切 不 同 下 标 t ET 的 无 序数 组 T= |t, ,th],B E BR) 和 ,= {тє RT 
(Titt s Een) ЄВ}, 有 


(20) 


Р{Я,(В)} = Р, (В). (21) 


证 明 设 集合 В є BRT) Яр 定理 3 存在 有 限 或 可 数 集合 S= (51, 
32, .--} CST, 使 B= {2 : (£s, 2s, ) Е B}, НН Be.B(RS),RS = В, xR х.... 
换 名 话说, В = 9 ‹(В) Ж “ДЖ” X B e .多 (RS) ВЕ. 

在 这 样 的 柱 集 B = I (В) 上 定义 一 集 函数 Р: 


P(Y s(B)) = Ps(B), (22) 


其 中 由 定理 3 知 , 概率 测度 Ps 存在 . 

我 们 现在 证 明 , P 就 是 定理 所 断定 存在 的 测度 . 为 此 需要 证 明 两 点 . 第 一 , 验证 
定义 (22) 适 定 , 即 在 用 不 同方 式 表示 В 的 情形 下 , P(B) 的 值 不 变 ; 第 二 , 集 函 数 P 
可 数 可 加 . 

这 样 , 设 В = Is (Bı) ТВ = Is (В). ЖА, 显然 BB = I sius: (B), 其 中 
Вз є .多 (有 2 952), 因此 内需 证 明 , #75 С 5° Н Be.B(R5), 则 Ps,(B') = Ps(B), 其 
中 

B = { (Ls, Lar, ): (2,2,6) E B}, 


而 S 一 {$1,85,.-:},5 = {51, 82, }. 


. 174 . м ”概率 论 的 数学 基础 


由 于 一 致 性 条 件 (20), 等 式 (22) 可 以 直接 由 定理 3 得 出 , 从 而 证 明 P(B) 的 值 
与 集合 В 的 表示 方法 无 关 . | 

其 次 , 为 验证 集 函 数 P 的 可 数 可 加 性 , 假设 {В„} 是 (ВТ) 中 某 一 两 两 不 交 
的 集合 序列 , 则 存在 有 限 或 可 数 集 合 S С Т, 使 对 于 任何 n > 1, В, = 2 s(Bn), 其 中 
Be BRE). 由 于 Ps 是 概率 测度 , M 


P (У; Bn) =P (XI s(Bn)) = Ps (> Bn) 
=) Ps(Ba) = у P (I s(Bn)) = УЎР(В,). 


最 后 , 直接 由 测度 P 的 构造 可 得 性 质 (21). 口 

注 1 需要 强调 了 是 下 标的 任意 集合 . 这 时 由 于 定理 3 的 注 可 见 , 如 果 用 任意 
完备 可 分 度量 空间 О, (连同 由 开 集 生成 的 o- АЖ АЖ R, 则 定理 仍然 成 立 . 

+2 曾 假 定 所 讨论 的 概率 测度 族 {Р}, 对 于 一 切 不 同 下 标的 无 序数 组 = 
| EAER. 对 此 应 看 重 强调 , 作为 т = [ti tn] 的 函数 , 这 些 测度 已 
实质 上 是 由 不 同 操 лс , {tn} 构成 的 集合 的 函数 . (例如 ， 数组 Іа, b] 和 数组 [6, а] 
应 视 为 同一 数组 , 因为 二 者 都 是 由 点 {а} 和 {>} 构成 的 同一 集合 .) 有 时 作为 开始 的 
取 概 率 测 度 族 {Р,}, 其 中 在 一 切 不 同 下 标的 有 序数 组 т = (ti1,… 6) 的 集合 上 
WE. (这 时 , 数组 (а,Ь) 和 数组 (b,a) 应 视 为 不 同 的 数组 , 因为 对 于 有 序数 组 元 素 的 
先后 顺序 全 天 重 要 .) 在 这 种 情形 下 , 为 使 定理 4 仍然 成 立 , 除 条 件 (20) 外 需要 再 增 
加 一 个 一 致 性 条 件 : 


Pipet Ati X o X Atn) = Pape ti, At Xo X А, ), (23) 


1 


其 中 (й,-.-, 5) 是 数 (1,… ,n) 的 任意 排列 , 4，e (В, ); ЖА (23) 作为 概率 测度 
Р 存在 的 必要 条 件 , 由 (21) 式 (6 Pa.. (B) 换 成 Р... (B) 可 见 是 显然 的 . 

我 们 下 面 总 假设 所 考虑 的 数组 т 是 无 序 的 . 如 果 т 是 数 轴 上 的 集合 (或 为 某 
一 完全 有 序 集合 ), 则 不 失 普 遍 性 , 可 以 认为 对 于 所 考虑 的 数组 = пы, 有 
<<... < ta (例如 , “е т 由 数值 点 {a1}, {a2},… {а} 组 成 , Шт 总 可 
以 表示 为 + = 1,19," tnl, 其 中 <t <... < tn.) 于 是 , 这 是 所 有 “有 限 
维 ” 概 率 只 需 给 出 这 样 的 数组 т = [t,t2,… ,th], AP ti <t <- < 二 ,其 中 
ti = min(ai an) 如 = max(a1,… ,an). 这 样 ,在 这 种 情形 下 所 有 “有限 维 ” 概率 ， 
只 需 对 于 这 样 的 数组 r= [tita e 给 出 就 可 以 了 , ЖЕ ti <t <.< tn. 

现在 考虑 Т = [0, о) 的 情形 . 这 种 情形 下 ,RT 人 是 一 切实 函数 = (ziji>o 的 空 
ЇН]. (RO), B(RO)) 上 概率 测度 的 一 个 重要 的 例子 是 所 谓 维 纳 (№. Weiner) 测度 ， 
其 构造 如 下 . 

考虑 高 斯 概率 密度 族 {е (иа) ео (Ж у 的 函数 , 而 т 固定 ): 


1 (у=)? 
е 2 ,yER; 


фут) = Jnnt 


$3. 在 可 测 空间 上 建立 概率 测度 的 方法 “175. 


对 于 每 一 数组 T= fti ta tahti < t2 <- < 之 ty 集合 B= 了 x.… хр, ЕН 
Ik = (ак, bk), 以 及 由 公式 


Р,(В) = Р,(1, x...x1,) 


24 
- | Е! Фа, (а1 |0) е, е, (а2|а1) ·- фе, —+„_,(а»|ал—1)дал -dan ) 
Г Та 


定义 的 测度 P.(B) (积分 理解 为 黎 曼 积分 ), 然后 , 对 于 每 一 柱 集 
Я’... Хх... x In) = {x Е В! : ты € l, ть Е In} 
定义 集 函 数 P, 设 
P (aD Xx) = Ри. (ахх Tn). 


这 样 赋予 柱 集 У... (1, хх n) 测度 的 方法 , 其 直观 含义 如 下 . | 

集合 У,,.а„(1, хх n) 是 于 时 间 五 … ЯМ “НН” Л, ‚1„ (62 图 
24) 的 , ЭН АҖХНЧЖтт. 我 们 把 о —„_,(ак[аок—1)даь B “SMARA ak1 ШЖ, 
经 时 间 ti — 1 ЭНА Е ак 的 da 一 邻 域 ”的 概率 . ЖА, 在 (24) 式 中 所 考虑 的 密度 
的 积 , 表示 运动 的 “质点 ”在 时 间 区 间 [0,1], [t,t3],… , [tn_1,tn] 平移 增 量 一 定 的 独 
立 人 性 . 

不 难看 到 ， 这 样 建立 的 测度 族 {P} 是 一 致 的 ， 从 而 可 以 开拓 为 (Ri0,%]， 
BRO) 上 的 测度 . 这 样 得 到 的 测度 , 在 概率 论 中 起 重要 作用 . 该 测度 是 维 纳 引 
ЖН), 称 为 维 纳 测度 . | 

6. 练习 题 

1. 设 Е(х) = Р( оо, х]. 证 明 下 列 公式 : 


Р(а,6] = F(b) – Е(а), Р(а, b) = F(b—) – F(a), 
Ра, b| = F(b) — F(a—),Pla,b) = Е(Ь–) – Е(а–), 
Р({2}) = Ё(т) – F(z—), 


其 中 F(z 一 ) = lim F (y). 

2. НЕВА (7). 

3. 证 明定 理 2. 

4. 证 明 , 分 布 函数 F = Flr) ЕВ 上 最 多 有 可 数 个 间断 点 . 问 对 于 及 ”上 的 分 
布 消 数 有 何 相应 的 结果 ? 

5. 考虑 函数 


1, фух 0, 
sc- 人 т т+и< 0, 
С (т, у) = [£r +y] Æ r +y 的 整数 部 分 . 
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证 明 , РА ЖЕН EE: 对 于 每 一 个 目 变 量 右 连续 、 递 增 , 但 不 是 R 上 的 (Г 
X) 分 布 函数 . 

6. 设 人 /是 对 应 于 连续 广义 分 布 函数 的 勒 贝 格 - 斯 蒂 尔 切 斯 测度 . 证 明 , 若 集合 
А 最 多 是 可 数 的 , 则 (А) = 0. 

т. с 是 连续 统 的 势 . 证 明 中 博 雷 尔 集 К” 的 势 等 于 с, 而 勒 贝 格 о 代数 的 势 
等 于 2°. | 
8. М (О, #,Р) 是 某 一 概率 空间 , .名 是 9 子 集 的 代数 , 而 oA) =. 利用 适 
当 集合 原理 , 证 明 对 于 任意 s>0 和 已 e. 多 ,存在 集合 4e. 名 使 


P(AA В) < є. 


9. ЎР Æ (Е",.8(6")) 上 的 概率 测度 . 证 明 , 对 于 任意 e > 0 和 Ве. (В"), 
FERE А, 和 开 集 A, 使 A СОВ С A, Н Р(А»\А,) < =. (该 结果 曾 用 于 定理 3 
的 证 明 .) 

10. 设 P 是 给 定 概 率 测度 . 验证 由 P;(B) =Р{9,(В)} 建立 的 测度 族 的 一 致 性 
(对 照 (21) 式 ). 

11. 验证 表 2 - 2 ME 2 - 3 中 的 “分布 ”确实 是 概率 分 布 . 

12. 证 明 第 1 小 节 的 注 2 中 的 28 是 о 代数 

13. 证 明 第 1 小 节 的 注 2 中 的 集 函 数 (А), A є 8, 是 测度 . 

14. 举 一 例 说 明 , 者 测度 jo 是 如 上 的 有 限 一 可 加 测度 (但 不 可 数 - 可 加 ), Д] 
不 可 能 开拓 为 ol) 上 的 可 数 — 可 加 测度 . 

15. WEHR, О TER c- 代数 .名 上 的 任何 有 限 一 可 加 概率 测度 , 都 可 以 开拓 为 
О 的 一 切 子 集 上 的 有 限 一 可 加 概率 测度 . 

16. КРЖО ТЯ о- КЖ Я 上 给 定 的 概率 测度 . 假设 С СО НЕС, 
证 明 测 度 Р 可 以 开拓 到 c- 代数 о (Я {С}, 并 且 保持 可 数 可 加 性 , 

17. 证 明 连 续 型 分 布 函数 F 的 承载 子 是 一 完全 集合 ( 即 suppF 的 承载 子 是 闭 集 ， 
且 具 有 如 下 性 质 : те supp Ё,є > 0, 则 存在 у € supp F, #0 < |= —y| <=). 证 明 
(任意 ) 分 布 函数 的 承载 子 都 是 闭 集 . 

18. 证 明 关 于 每 一 分 布 函数 F 结构 的 如 下 基本 结果 ( 见 第 1 小 节 末 尾 ): 每 一 个 
分 布 函 数 都 是 凸 组 合 

Е = aita + а2Рььс + оз Ес, 


其 中 Ра 是 离散 型 分 布 函数 , Fao 是 绝对 连续 分 布 函数 , Fe 是 奇异 连续 分 布 函数 ; 而 
Qi 2 0, ар 十 Co + оз = 1. 

19. 证 明 , 对 于 康 托 尔 函数 和 对 于 康 托 尔 增 长 点 的 集合 .Y (与 supp Е 的 承载 子 
ES) 中 的 每 一 个 点 zx, 有 如 下 表现 : 


ок (т) 
3k ` 


[М 


т 一 
k=1 


63. 在 可 测 空间 上 建立 概率 测度 的 方法 . 177. 
其 中 ak(z) = 0 或 2, 而 且 对 于 这 样 的 点 , 有 
Ple) = Y 


20. 设 C Æ R 上 一 闭 集 . УЛ Р, 使 其 承载 子 为 supp F ~ С. 
21. 证 明 , 二 项 分 布 (82 第 1 小 节 ) 的 分 布 函数 


В» (т; р) — Pn1v < т} — Сера" 
k=0 
可 以 通过 (不 完全 ) В RZ Bn (mm; р) 表示 : 


1 1 
| (1 一 Th) "1а. 


Bn ; 一 
(тр) В(т +1, п 一 р 


22. 证 明 , 泊 松 分 布 的 分 布 函数 


可 以 通过 (不 完全 ) Г 函数 表示 : 
F(n; А) = af те 4х. 
ЈА 


23. 在 描绘 分 布 密度 f = f(x) 的 形状 时 , 除 均 值 和 方差 外 , 标准 特征 是 参数 “ 仿 
度 ”(skewness) 


H3 

和 参数“ 峰 度 ” (peakedness 或 kurtosis) 
_ H4 
C4 gt’ 


其 中 о 
lik = | (г и) (о) = | т}(2)ӣт, о? = ps. 


对 于 表 2 一 3 中 所 引 的 分 布 , 讨论 关于 参数 ws М ол 的 值 的 问题 . 
24. 对 于 服从 参数 8 = 1 的 工分 布 的 随机 变量 X ( 见 表 2 - 3), 证 明 


F(k +a) 


ЕХ* = 
Г(о) 


+ 


特别 , ЕХ = о, ЕХ? = ala +1), WE DX = а. 
当 В 3 1 时 求 类 似 的 公式 . 
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25. 对 于 服从 В 分 布 的 随机 变量 X ( 见 表 2—3), 证 明 


Bir + К, в) 
В(т, s) 


26. 对 于 二 项 分 布 , 试验 次 数 n 固定 , 考虑 在 ”次 试验 中 “成 功 ” 次 数 v 恰好 等 
于 > 的 概率 P {r =r}. ЖЖ Рр, {и = тр = Cpg, 0 Sr <n, EF p 是 每 次 试 
验 “成 功 ”的 概率 . 这 些 概率 形成 二 项 分 布 (n 给 定 ). 如 果 考 虑 问题 “最 早出 现 r 次 
“БАЗ (随机 地 ) 发 生 在 第 т = klk >т) 次 试验 ”的 概率 , 将 导出 负 二 项 分 布 (或 北 二 
项 分 布 ). 证 明 , 事件 {т = k} 的 概率 为 


ЕХ“ = 


Р{т=к}=С |р", k=7,r+1,..., 


其 中 7 = 1,2,... (р 是 每 次 试验 "成功 ”的 概率 ). 这 些 概率 Prfr = k},k = r,r + 
1 ……， 的 全 体形 成 负 二 项 分 布 . 证 明 , 对 于 给 定 的 г, Err = га/р. 


84. 随机 变量 I 


1. 随机 变量 及 其 概率 分 布 和 分 布 函数 1 (Q, F) 是 某 一 可 测 空 间 , (в, .多 (及 )) 
是 数 轴 及 其 博 雷 尔 集 系 GR) 的 可 测 空 间 ， 

定义 1 EXE (0,9) ЕВЗ & = Elw), ЖИ 9 Я ЕЎ М, Ж, 
如 果 对 于 任意 В e .多 (R), 有 


{w : Elw) Е В} Е; (1) 


或 者 , WR EHB) = {w : E(w) Е В} 是 9 中 的 可 测 集 . 
当 (0,9) = (В",.Я(В”)) 时 , .多 (R") 一 可 测 函 数 称 做 博 雷 尔 可 测 函 数 . 
任意 (可 测 ) 集合 Аде. 的 示 性 函数 Г (л), 是 随机 变量 最 简单 的 例子 . 
表示 为 | 


E(w) = у zila (w) (2) 


的 随机 变量 , 其 中 УА, = А, Е Я, ЖА ЖМА Ж. 假如 (2) 式 中 的 和 含有 
限 项 , 则 相应 的 随机 变量 称 做 简单 的 . 

按照 第 一 章 84 的 解释 , 可 以 说 随机 变量 试验 的 某 一 数量 特征 , 其 取 值 依赖 于 “ 偶 
Ж” w. 这 时 , 可 测 性 .(1) 的 要 求 之 所 以 重要 , 其 原因 是 : 如 果 在 (0,9) 上 给 定 了 概 
E, 则 事件 {w : Ew) e В} 的 概率 才 有 意义 , 其 中 {w : Ew) є В} 表示 “随机 变量 с 
的 值 属于 某 一 给 定 的 博 雷 尔 集 合 В». 

于 是 , 我 们 给 出 如 下 定义 . 
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定义 2 (RAR) 上 的 概率 测度 Р; 连同 
P:(B) = P{w :été(w) Е В}, В € (R), 


称 做 随机 变量 5 在 (R, BR) 上 的 概率 分 布 
定义 3 函数 
Её(т} = Р{о: Elw) <т}тЕВ, 
称 做 随机 变量 的 分 布 函 数 . 
对 于 离散 型 随机 变量 上, 测度 P 集中 在 有 限 或 可 数 个 点 上 , 并 且 可 以 表示 为 


P(B)= > plak), (3) 
{к:х,ЄВ) 
其 中 р(хь) = Р( = zk} = АЕ; (ть). 
显然 , 也 有 相反 的 结论 : 如 果 Р, 可 以 表示 为 (3) R, Д 是 离散 型 随机 变量 . 
随机 变量 Е 称 做 连续 的 , 如 果 其 分 布 函数 Fele) 对 r eR 连续 . 
随机 变量 上 称 做 绝对 连续 的 中 , 如 果 存 在 非 负 函数 f = (г), 使 


F(z) = J | :(у)ау, z € R (4) 


(积分 可 以 理解 为 黎 曼 积分 , 不 过 在 更 一 般 的 情形 下 , 应 理解 为 勒 贝 格 积分 ; 参见 下 面 
36), 其 中 函数 / = fe(z) 称 做 密度 . 

2. 函数 上 = 上 (w) AF 可 测 的 充分 和 必要 条 件 ЖШ с – Elw 是 否 随 
机 变量 , 需要 对 于 所 有 集合 В ЕЯ 验证 性 质 (1) 是 否 成 立 . 下 面 的 引 理 表明 , 对 于 
这 样 集合 类 的 “测试 ”可 以 简化 . 

引 理 1 设 多 是 某 一 集 系 , н o( 多 ) =.) а= (0) я Я 可 测 的 充 
分 和 必要 条 件 是 , т -мЕЕЗ ж 


(w: Elw ЕЕ} Ее. (5) 


证 明 必要 性 显然 . 为 证 明 充 分 性 仍 利 用 适当 集合 原理 ($2). 
设 乡 是 满足 Е (р) EF, DEBR) 的 博 雷 尔 集 系 . 不 难 验证 “ 取 逆 像 ” 运算， 
保持 并 、 交 与 补 的 集合 运算 不 变 : 


=i (Usa) — (Е (Ba), 
=l na 一 ПЕ Ba), (6) 


(Во) = (Во). 
ФЕЯ ЖЕР, 亦 常 称 绝对 随机 变量 为 连续 型 随机 变量 .一 一 译 者 
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由 此 可 见 , ЖЖ 多 Æo 代数 . 因此 


E CIZ CBR), 
故 
о(@) С 0(27) ~ @ с HR). 
由 于 c( 多 ) = 8R), 从 而 多 = 8R). О 
Ж %ЖЕ=Е() 为 随机 变量 的 充分 和 必要 条 件 是 , 对 于 任何 ZE 了 ,有 
{0:6 (0) <} EIF 
或 


м: (0) <} Е. 
由 如 下 事实 可 以 立即 得 到 系 的 证 明 : 每 一 个 集 系 


бу = {ї:т<ес,сєВ}, 
= {r:r Kc, cE R} 


都 产生 o- 代数 BR), 即 о(#,) = о(#») = BR) (参见 80), 

基于 下 面 的 引 理 , 可 以 用 其 他 随机 变量 的 函数 来 构造 新 的 随机 变量 . 

5182 Жо- ф(т) 是 博 雷 尔 函数 ,而 上 = Elw) 是 一 随机 变量 那么 ,复合 函 
Ж = фоё, MAA nw) = ф(&(ш)) 也 是 随机 变量 . 

证 明 3 引 理 的 结论 由 如 下 事实 可 得 : 对 于 B EBR), 


{v :nw) Е В} = {w : Ф(6(0)) є В} = {ш:&(ш)є HB} EF, (7) 


因为 p-1(B) Е (К). Г] 
这 样 , 由 于 z",z+,z-,|z| 是 博 雷 尔 函 数 , 可 见 如 果 e 是 随机 变量 , 则 г" et = 
шах{&,0},&_ = 一 min{é,0},|é#| 也 都 是 随机 变量 (练习 题 3). | 
3. 广义 随机 变量 DO 从 给 定 的 随机 变量 组 {in} 出 发 , 可 以 建立 随机 变量 新 的 
ВА 39, 例如 ， 


3 Enl, limn, lmen, ` 
注意 , 这 些 函 数 一 般 已 经 在 扩充 数 轴 [-со, со] 上 取 值 . 因此 , 最 好 将 可 测 函 数 类 加 以 
扩充 ， 使 之 也 可 以 取 +00 为 值 . 


® расширенная случайная величина (extendid random vriable), КН] ТЕЖ “PF AMIER” 
一 一 Жж 
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EX4 称 定义 在 (9,9%) Е, МВТ Е = [--оо, оо] 上 的 函数 = E(w) 为 广 
义 随机 变量 , 如 果 对 于 任何 博 雷 尔 集 В EBR) (o 一 代数 8R) = o( 2R), +оо)) 
满足 条 件 (1). 

下 面 的 定理 虽然 简单 , 但 是 在 建立 勒 贝 格 积分 时 是 关键 (86). 

定理 1 а) 对 于 任意 (包括 广义 ) 随机 变量 = llw), 存在 简单 随机 变量 列 
&1,€2，,…, 使 (6.1 < El, 县 对 于 一 切 wE8 当 ni 一 00 № & (и) — Elw). 

b) 在 上 述 条 件 下 , 如 果 &(w) > 0,060, 则 存在 简单 随机 变量 序列 £1,E2,.…, 使 
对 于 一 切 w E80, 当 nn 一 00 ЧЕ, (м) Т Elw). 

证 明 首先 证 明 第 2 个 命题 . 对 于 = 1,2,.…, 设 

on 


大 一 ] 
(м) =) Це <сшу<}(%@) + Hewan) (0). 


pp 


可 以 直接 验证 , 对 于 一 切 w є О, 所 建立 的 序列 с, (и) 1 Elw). 如 果 注 意 到 , 上 可 以 表 
示 为 上 = 6+ — E, 则 由 已 经 证 明 的 命题 b), 可 以 立即 得 到 命题 a). E 

现在 证 明 , 广义 随机 变量 类 关于 逐 项 收敛 封闭 . 为 此 , 首先 指出 , ШЖ i, é 
是 广义 随机 变量 序列 , 则 sup En inf &,limt, 和 іт, 也 是 随机 变量 (有 可 能 是 广 
义 的 ). 由 


oipe > 2р (об) ея 
fw : inf En <т}=( Hw: in <1} ЕЯ; 
TL 
lime， = inf Sup Em, limén, = SUP inf Em, 
п mən п mn 


可 以 直接 得 到 上 面 所 指出 的 性 质 . 

定理 2 如 果 &, é 是 扩充 随机 变量 序列 , 而 Elw) = іт, (ш), w Е Q, Ж 
E = E(w) 也 是 广义 随机 变量 . 

证 明 定理 的 证 明 , 可 以 立即 由 上 面 的 结果 和 下 面 的 关系 式 得 到 | 


{w : En < r} = {w : іт, (о) < £} 


= {w : limén (w) = тє, (w)} {е (w) < т} 
= QN Пл, (w) < =} = (Бю, (w) < r} € F. 


4， 随 机 变量 序列 之 和 、 差 、 积 、 商 的 极限 ”我 们 现在 讨论 随机 变量 的 简单 函 
数 的 一 些 性 质 , 这 些 变量 定义 在 可 测 空 间 (0,9) 上 、 且 有 可 能 取 值 于 扩充 数 轴 玉 = 
[一 oo, оо]*). 


O 以 下 关于 R 中 的 算术 运算 , 作 如 下 通常 的 约定 : 车 a eR, Ш а + со = +оо,а/ + со = 0; Ж 


а < 0, Ш ах оо = оо: 此 外 , 0 x (+оо) = 0, оо + оо = оо, оо — оо = — ою. 
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WR © ЯП n 是 两 个 随机 变量 , 则 上 +7 п, п ЖП En 也 是 随机 变量 (BRAX 
运算 有 意义 , 即 不 出 现形 如 œ — оо, оо/оо,0/0 等 不 定式 ). 
Я {En} 和 {т} 是 两 个 随机 变量 序列 , 分 别 收敛 于 & 和 ( 见 定 理 1). 那么 


в Е т >EEN, 


Єз. 一 EN, 
én 


1 
Nn 十 m Hom =0} (w) 


— 


З [т 


这 些 关 系 式 左 侧 的 各 个 函数 都 是 简单 随机 变量 . 因此, 由 定理 2 МЕЛ, EnEn 都 
是 随机 变量 . 

5. 随机 变量 的 函数 = с) 是 随机 变量 .考虑 多 PE {w : (ш) є 
В}, В € (®) 的 集合 , 它们 构成 rc- 代数 , 称 为 由 随机 变量 上 生成 的 o- 代数 , 记 
作 Я: 或 (6) 

WR р 是 某 一 博 雷 尔 函 数 , 则 由 引 理 2 知 函 数 7 = рос 也 是 随机 变量 , 并 且 
Я г З: {w : 1%) Е В} є Я:ВЕ.%(В) (М, (7) А). 实际 上 , 相反 的 结果 也 成 
УУ. | 

定理 3 Ж з=) AFi- 可 测 随机 变量 . 那么 , 存在 某 一 博 雷 尔 函数 р, 使 
对 于 每 一 个 wEQ, 有 = ро, P т(ш) = ф(&(ш)). 

证 明 © Фе 是 一 切 Я < 一 AJ A рк 3% n = 7(ш) 类 ， 而 Ф, ÆA ARRA yon 的 
多 :一 MRAK, 其 中 р 是 某 一 博 雷 尔 函 数 . Ш Ф, СФ. 定理 的 结论 表明 , 实 
际 上 是 Ф; = Ф. 

Ў AESF: Ж т(ш) = Iaw). WEER пе Ф. 事实 上 , 若 АЕ F, WETE 
B € B(R), & A = {w : E(w) € В}. в 


(т) = 1, те В, 
Хв = 0, #2 6 В. 


那么 ТА(ш) = хв(ё(ш)) Е De. 由 此 可 见 ， 任何 Я < 一 可 测 简单 函数 
> Gila, (w), А; € Fe, 
仍然 属于 Ф,. 
现在 设 п 是 任意 F- 可 测 简单 函数 . 根据 定理 1, 存在 9. 可 测 的 简单 函数 
序列 {mn}, m = п. (ш), 使 得 当 m 一 оо 时 т, (ш) 一 т(ш), о є ©. 由 上 面 证 明 的 结 
ЖАП, 存在 博 雷 尔 函 数 pn = won(z), 使 пъ = п (2(0)). 在 这 种 情况 下 当 n -oo 时 
PnlElw)) > nw) w є О. 
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记 В = {хє R: На, pn(X) 存 在 }. 此 集合 是 博 雷 尔 集 . 所 以 函数 


(т) = lim pn (2), те В, 
A 0, Ж хёВ 


仍然 是 博 雷 尔 函 数 ( 见 练习 题 6) 
_ ЖА, 显然 对 于 所 有 ws Q, 有 


n(w) = lim pn (E(w)) = pE). 


TÆ, Ф; = Ф;. 口 
6. 阶梯 随机 变量 ”考虑 可 测 空间 (0,9), 和 空间 О 的 有 限 或 可 数 分 割 : 多 = 
{DiD2 h Die F, E Dia ARETE о у р, 的 代数 .如 , 其 中 和 式 
含有 限 或 可 数 项 . 显然 , ЖЖ .% 是 单调 类 , 因此 根据 52 引 理 2, 代数 .如 同时 也 是 
o 一 代数 , 记 作 0(2), 称 为 由 Я ERG ос КЖ. Жо) СЕ. 
5| 理 3 设 £= E(w) Ж о(@)— 可 测 随机 变量 , 则 & 可 以 表示 为 : 


E(w) = Ў `тьГр, (ш), (8) 
К=1 


其 中 тьєЄК,К >1,Ёр Elw) EDTA Deks 上 为 常数 . 
Е 任 取 分 割 的 一 个 集合 Di, 证 明 с(27) — WARA E 在 D 上 为 常数 . 
为 此 , 设 


тк = suple: Dk AO {w : Elw) < с} = 2]. 


由 于 
{ш:&(ш)< ть} = J {w : Elw) <r}, 


个 之 并 下 


т< хь ЖЕНЯ W Dy [Hw : Elw) < ть} = Ø. 
现在 设 с > zk № р, (о : Elw) < с + 0. 由 于 集合 {о : E(w) < с} 具有 
У). Р, 的 形式 , 其 中 对 于 有 限 或 可 数 个 下 标 求 和 , 故 


РЕП {w : Elw) < с} = Dk. 
由 此 可 见 , 对 于 一 切 с> ть, 
Dk N {w : E(w) >с} = е; 


由 于 
{w : E(w) > ть} = |) {w: Elw) >т}, 


г> 
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其 中 对 于 有 限 或 可 数 个 下 标 求 和 , 故 
Dg N {w : Elw) > жь} = Ø. 
Тж, р. По: Elw) # хь} = е. 从 而 
Рь С {w : E(w) = ть}, 


而 这 正 是 需要 证 明 的 . 口 
7. 练习 题 
1. 证 明 随 机 变量 上 连续 的 充分 和 必要 条 件 是 : 对 于 一 切 x € R,P{é = х) = 0. 
2. 5 ELA F в, [| < 是 否 也 #— 可 测 ? 
3. UERR РЕЖ т”, rt = тах(х,0), 27 = — шш(т, 0), |z| = zt + x- EBE IAA. 
4. WMR E n Я п], М] {w : Elw) =т(ш)} Е. 
5. B EM n (9,9) 上 的 两 个 随机 变量 , 而 集合 Acs. 证 明 , 函数 


Clw) = &(ш)ТА + («Гл 


也 是 随机 变量 . 

б. 议 6 En 是 随机 变量 , 而 yp(z1,… ,zn) 是 博 雷 尔 函数 . 证 明 yp(&1(w),…， 

ЕЖ y 是 以 1,2,… ,NN 为 值 的 两 个 随机 变量 , НЯ. =9,. ЧЕН 
在 数列 的 (1,2,… N) 的 排列 (i1,i2,… in) 使 对 于 每 一 个 7 = 1,2,..…,N, 集合 
{ш:&=)} 5 {ш:т =1+)} АҢА. 

8. 举 一 随机 变量 с 的 例 , 使 其 分 布 函数 有 密度 (т), BÆK r> oo 时 f(zx) 的 
极限 lims f(x) 不 存在 , 从 而 f(x) 在 无 穷 大 不 为 0. 

9. ЕЖ n НУВ (|| < с, "| < со). ЧЕН, 车 对 于 一 切 m,n > 有 


Ес” п __ Е" x En”, 


ШЕ ЖП 独立 . 

10. ЕЖ n 是 随机 变量 , 其 分 布 函数 К; = Е,. 证 明 , 车 对 тє Е, {w : Elw) = 
х) # 2, WFE y ER, 使 {ш:&(ш) = r} = {w : n(w) = у}. 

11. ЕЖЕ ЕКВ, 是 映射 : О Е. 证 明 上 是 (0,9) 上 是 
随机 变量 , 当 且 仅 当 对 于 每 一 个 ze Е, {w (и) = Ее. 


85. 随机 元 


1. 随机 函数 、 随 机 向 量 和 随机 过 程 ” 除 随机 变量 外 , 在 概率 论 及 其 应 用 中 , 还 
研究 更 一 般 性 质 的 随机 对 象 . 例如 , 随机 点 、 随 机 向 量 、 随 机 函数 、 随 机 过 程 、 随 机 
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场 、 随 机 集合 、 随 机 测度 等 等 . 因此 , 希望 有 一 个 关于 任意 性 质 的 随机 对 象 的 一 般 
定义 1 设 (Q, 多 ) 和 (已 , 多 ) 是 两 个 可 测 空 间 . УХО ERAF E 的 函数 
X = Х(ш), 称 做 (БИЕТ Е Н) 多 /8 一 可 测 函 教 或 随机 元 , 如 果 对 于 任何 B Eg, 有 


{w: Х(и) Е BEF. (1) 


取 值 于 五 的 随机 元 , ЛЕЖАЛ ~- 值 随机 变量 . 

下 面 讨论 这 一 定义 的 一 些 特殊 情形 . 

假如 (Е,&) = (Ш&,.©(щ)), 则 随机 元 的 定义 与 随机 变量 的 定义 一 致 (34). 

假如 (E,EZ) = (RR",. 多 (R")), 则 随机 元 Xe) 是 R” 中 的 “随机 点 *. WE x 是 
К” ÆR k 坐标 轴 上 的 射影 , 则 Xw) 可 以 表示 为 


Х(ш) = (6 (4), -- ,én(w)), (2) 


其 中 & = по X. 
由 条 件 (1) 可 见 , & 是 普通 的 随机 变量 .事实 上 , 对 于 任意 В € 8R), 由 于 
Вх... хВхВхВх... хВ Е.Я(В”), 有 


{w : (и) € В} 
= {0:61(0) E R,- ,&к_1(ш) Е R, (и) Е В, Е +1 (w) E R,- ,én(w) E R} 
= (и: Х(и) є (Вх... хВхВхВх...хЮ)} Е. 


定义 2 我 们 把 任意 有 序 随 机 变量 组 (m1(w),… mlw), ЖЖ n 一 维 随机 向 量 

按照 这 一 定义 , 任意 在 В" 取 值 的 随机 元 X(w) 是 n- 维 随机 向 量 ， 反 过 来 也 
对 , 任何 n- ВЕЛЕ X(w) = (Elw), ‚2 (и), в 中 的 随机 元 . 事实 上 , 如 
Я В, с.6(К), = 1,... п, М 


{ш:Х(ш) € (В. X +: x Ba)} = Ко: rlw) € Вь} ЕЯ. 
К=1 
$ В, x … x В, 的 最 小 o- 代数 等 于 BR”). 那么 , 由 84 中 引 理 1 的 明显 推广 立 
即 可 得 , 对 于 任意 В Е.В”), 集合 {ш: Хи) ЕВ} се. 

设 (Е,2) = (Z,. 多 (Z)), 其 中 Z ERX z =r +iy, r, y є В 的 集合 , 而 -LZ 5 
Ж {2:2 Е + іу, а <z Sbi,a2 < у < bz} 集合 的 最 小 o- КЖ. 由 以 上 的 讨论 ， 
可 见 复 值 随 机 变量 Zw) 可 以 表示 为 Z(w) = X(w) + iY (ш), 其 中 X{w) 和 Y(w) 是 
随机 变量 . 因此 , Z(w) 亦 称 为 复 随 机 变量 . 

设 (Е,&) = (ВТ,.9(ВТ)), 其 中 了 是 数 轴 的 某 一 子 集 . 这 时 , 任何 可 以 表示 为 
X = (&ет,& = ло X 的 随机 元 X = Xw), 称 做 定义 在 时 间 区 间 Т 上 的 随机 函 
ж. 

БЕЛЛ.) Ж— ЁЁ, 任何 随机 函数 同时 也 是 随机 过 程 . 见 下 面 的 定义 . 
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定义 3 设 了 是 数 轴 的 某 一 子 集 . 随机 变量 组 = (Eher 称 做 时 间 区 间 代 上 
的 随机 过 程 . 

对 于 了 = {1,2,...} 的 情形 , X = (&,6,...) 称 为 离散 时 间 随 机 过 程 或 随机 序 
列 . 

对 于 了 = [0,1],( 一 00, ос), [0, coco) ВР, X = (Eeer 称 为 连续 时 间 随 机 过 
程 . 

利用 o 一 代数 BRT) 的 构造 (82), 不 难 证 明 , (在 定义 3 的 意义 下 的 ) 任何 随机 
过 程 X = (& ет, 同时 也 是 随机 函数 ( 值 域 为 RT 的 随机 元 ). 

定义 4 &Х=(&)ст 是 随机 过 程 . 对 于 每 个 固定 的 we О, В (Elwer 
称 做 过 程 对 应 于 结局 w 的 实现 或 轨道 . 

与 34 的 定义 2 类 似 , 日 然 地 引出 下 面 的 定义 . 

定义 5 RX = (&)ieT 是 随机 过 程 . 

1) (В ,.2(87)) 上 的 概率 测度 Px, 其 中 


Рх(В) = P{w : X(w) Е В}, ВЕ. (ВТ), 


称 做 过 程 X 的 概率 分 布 . 
2) 对 于 ti < t2- < tn ti ET, 概率 


Р „(В — Р{ш : (4 1 | ,Et Є В}, В Є BR”), 


称 做 过 程 X 有 限 维 概率 (或 有 限 维 概率 分 布 ) 
3) XIF ti < t2 < 机 ,ti ЄТ 函数 


ЁК. (21, ++ , Tn) 一 P{w . Eti < 21, , Et., < Tn} 


称 做 过 程 А = (2+ )+ет 时 有 限 维 概率 分 布 函 数 . 

设 (Е,&@) = (С,.00(6)), 其 中 С 是 区 间 了 = [0,1] 上 连续 函数 z= (ter 的 
空间 , 其 中 o 一 代数 .多 o(C) 是 由 开 集 生成 的 (8$2). 下 面 证 明 , 空间 (С, .(С)) 的 任 
意 随机 元 Х, 同时 也 是 在 定义 3 意义 上 的 随机 过 程 ( 且 具 有 连续 轨道 ). 

实际 上 根据 $2, 集合 A= {тЕС:т, <а} Е (С) 中 的 开 集 . 因此 


{w : éw) <a} = {о: Xw) Е А} ЕЯ. 


n-A N, ВХ = (&(w))ier Ж (在 定义 3 意义 上 的 ) 随机 过 程 , 对 于 每 个 we 0, 
其 轨道 是 连续 函数 . 根据 52 的 (17) 式 


{TreC:reS(X" (wh))} = ВЕ ЄС: |=}, 一 vr | <р}, 


tk 
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其 中 t 是 线段 [0,1] 上 的 有 理 点 . 因此 ， 


{w : X(w) є $®(Х°(ш))} = ( Ho : в (6) -tu < в} Е Я. 


于 是 , 对 于 任何 {w: Х(и) В} Е, A ВЕ. (С). 

通过 类 似 的 讨论 也 可 以 证 明 , 在 82 (第 7 小 节 ) 中 引进 的 空间 (D, 8D) 上 的 
随机 元 , 可 以 视 为 随机 过 程 , 其 轨道 属于 无 第 二 类 间断 点 的 函数 空间 . + НХ 
I. 

2. 随机 元 的 独立 性 设 (9,9, P) 是 概率 空间 , 而 (Exa) 是 可 测 空间 , 其 中 
о 的 值 域 是 某 (任意 ) 集合 и. | 

定义 6 ЖЯ. 可 测 函数 (Xalo) a E U, 独立 (或 全 体 独 立 ), 如 果 对 于 
任何 有 限 下 标 数 组 ai, ,an, В Хо, Хо, 独立 , Вр 


P{Xo, Е В, , Xa, Е Ban} = P{Xa, Е Bao}:::P{Xa, є Bo, }, (3) 


其 中 BEC 
В И = {1,2,... п}, 是 随机 变量 , єй, 而 


Ре(т1,... ,Tn) = Р{&: < Z1, Ên < Zn} 


ЖЕ |н) Ж (21,`.:,&) 的 n- 维 分 布 函数 . 设 Fe, (Xi) 是 随机 变量 上 1 一 1 n, 的 分 
ЯН РА Ж. 
定理 ”随机 变量 i 独立 的 充分 和 必要 条 件 是 ,对 于 所 有 向 量 (x1,.…， 
Zn) Е В", 有 
(жу, En) = Ре (21) Fe, (та). (4) 
EA 必要 性 显然 . 为 证 明 充 分 性 , 设 = (al ,an),b = (b1,:… ,bn) 是 任意 
向 量 , 则 


РЕ(а, 6] = Р4а: < &<Ы,--- а < Ên S bn}, 
Pg, (ai, bil = Р{а; < Ё; < bi}. 
ЖА, 由 83 的 (7) 式 , 以 及 (4) А, 得 


т. 


Р.(а, bj = 5.02) — Ре, (ai 一 || Ре. (а;, bi]. 


i=] i=1 
从 而 ， 
P{éi ET, ,én € In} = ] | Р& ЕТ}, (5) 
$=1 | 


其 中 d; = (а;, bil. 
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固定 12,:… In, 对 于 任意 В, € LR), 有 


Р{&: Е В: & Е Ъз, ,én € In} = Р4& Е В1} | | Р4& є 1}, (6) 
$=2 
设 . ж (К) 中 满足 (6) 式 的 集合 的 全 体 (§2,“ 适 当 集 合 原理 *). 由 不 相交 的 形 如 
1, = (а, 61] 的 区 间 形 成 的 代数 .名 显然 属于 A. 因此 6 с в BR). 由 概率 测 
度 的 可 数 可 加 性 (从 而 也 由 其 连续 性 ), п ЖЖ A 是 单调 类 . 因此 (Ж. 82, 第 1 小 
т) 
п60) < № с BR). 


然而 . 根据 82 的 定理 1, (24) = 0(6) = BR), H Æ = BR). 
于 是 (6) 式 得 证 . 现在 固定 B1, 3,.… , In FH 1, BÈ Ba 运用 与 证 明 (6) R 
同样 的 方法 继续 这 一 过 程 , 则 显然 可 以 得 到 需要 的 等 式 


Р{& Е B1, ,én € Bn} =Р{& Е BI}:..P{én Е Bn}, 


其 中 В; < BR). O 
3. 练习 题 
1. E 6 如 是 离散 型 随机 变量 , 证 明 它 们 独立 的 充分 和 必要 条 件 是 , 对 于 任 
意 实数 Ti, бп» 有 


Р{&: = 1, ,én = Ти} — [] Р{& — т}. 
+ 二 1 


2. 证 明 任何 随机 函数 X(w) = (&(ш))ҥт (在 定义 3 的 意义 上 ) 是 随机 过 程 , 而 
且 反 之 亦 然 . 

3. R Xie, Xn 是 分 别 在 (Е1,&'),-.-,(Е„,8,) 取 值 的 随机 元 ， 其次, 设 
(B14, 多 1),… ,(Е„,#&„) 是 可 测 空间 , 而 g1,… ,gn 相应 为 多 1 /多 1,… #&„/&@ — 可 
ЖИРЕ. 证 明 , 大 Xi ‚Х„ 独立 , 则 gio Xi, ,gno Xn 也 独立 . 

4. 设 Xi, Xn,…… 是 可 交换 无 限 随机 变量 序列 ( 即 这 样 的 序列 , 每 一 组 随机 变量 ， 
由 上 其 有 不 同 下 标的 个 元 素 构 成 , 例如 , Xi Xan 只 与 有关, Би... и 具体 
值 无 关 , 其 中 i, ,i 两 两 不 等 ; 对 照 81 的 练习 题 11). 证 明 , Ж ЕХ? < co,m > 1, 
则 协 方 差 cov(Xi, X2) > 0. 

5. B En, C 是 独立 随机 变量 , 证 明 随 机 变量 上 +y7 C2 独立 . 

б. 设 由 随机 变量 é, Em n ,Tm 组 成 随机 同 量 X = (E, Em) ТУ = 
(m, ть). 假设 满足 下 列 条 件 : 

(1) 随机 变量 &,,... ,én 独立 ; 

(1) 随机 变量 n,- т, ЖХ: 

(Ш) 随机 回 量 X M Y, 作为 分 别 取 值 于 R” 和 R” 的 随机 元 独立 . 
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证 明 随机 变量 &|,... ,上 ,TD ‚т 独立. 

т. 假设 有 两 个 随机 问 量 X = (1, Em) 和 了 = (m,n) 已 知 随机 变量 
Em Mo tt s Nn ЖА. 

(1) 证 明 , 随机 向 量 X 和 Y, 作为 随机 元 独立 (对 照 练 习题 6). 

Gi) Г: R” 一 及 9: 及 "一 月 是 博 雷 尔 函 数 , 证 明 随 机 变量 f(&1,… с.) 和 
gm, ,Tm) 5. 


66. 勒 贝 格 积分 . 数学 期 望 


1. 引言 与 记号 在 第 一 章 484, 对 于 (9,9,Р) 是 有 限 概率 空间 , © = Elw) 是 简 
单 随机 变量 | 
E(w) = У zrela (ш) (1) 


的 情形 , 曾经 定义 了 数学 期 望 Её 的 概念 . 对 于 任意 概率 空间 (О, # р), 使 用 与 简 
单 随机 变量 的 数学 期 望 同 样 的 概念 . 具体 地 说 , 根据 定义 , 设 


Её = хкР( А»). (2) 
天 一 工 
这 一 定义 , 像 有 限 概率 空间 一 样 , (在 Её 的 值 与 形 如 (1) 的 表现 无 关 的 意义 上 ) 是 适 
定 的 . 关 似 地 可 以 证 明 数 学 期 望 的 简单 性 质 ( 见 第 一 章 84 第 5 小节 ). 
这 一 节 的 目的 是 : 给 出 任意 随机 变量 数学 期 望 кє 的 定义 , 研究 其 性 质 . 按 分 析 
的 观 所 , 数学 期 望 ЕЁ 是 S- 可 测 函 数 © = E(w) 对 测度 Р 的 勒 贝 格 积分 . 对 于 数 
学 期 望 , 除 ЕЁ 之 外 还 使 用 如 下 记号 


| swjP(dw) J EdP. 


2. 数字 期 望 的 定义 R = (ш) 是 非 负 随机 变量 . 构造 一 非 负 简单 随机 变量 
序列 {Enna УР ЛЕО, Ч n> оо Н & (4) Т Elw) (Ж, 54, 定理 1). 
由 于 Eln < Eny (对 照 第 一 章 84 第 5 小 节 的 人 性质 3)), 则 存在 lim, Eén, 其 中 
的 极限 有 可 能 以 十 OO 为 值 . 
定义 1 Ж 
ЕЕ = lim ЕЕ, | © (3) 


为 非 负 随机 变量 上 = Elw) 的 勒 贝 格 积分 , 或 上 = E(w) 的 数学 期 望 . 
为 使 该 定义 是 适 定 的 , 需要 证 明 其 中 的 极限 与 逼近 序列 {&,,} 的 选择 无 关 . 换 句 
话说 , 需要 证 明 , Ж. En 1 &,т | ,其 中 {mm} 也 是 非 负 简 单 函 数 序列 , 则 


lim E£, = lim Еп. (4) 
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引 理 1 Kn fén) 是 非 负 简单 随机 变量 , Н 


En 1621). 
Я 2, 
证 明 => 0 ВН 
Ап = fw: En 21-Е}. 
TH, An ТО, Ш 


En = би ГА + бил. 之 ТА» 之 (2) — e)la.. 
因此 , 由 简单 随机 变量 的 数学 期 望 的 性 质 , 可 见 


Eén > Е(п- Е)Тд, = ЕГА, – ЕР(А,,) 
= Ей Еті —єР(А„) > En— СР(А,) – Е, 


其 中 С = maxw n(w). НҒ є > 0 是 任意 的 , 得 所 要 证 明 的 不 等 式 (5). o 
由 这 一 引 理 可 见 
lim Её» > tim Ет, 


而 由 对 称 性 , 有 


lim Ес» < lim Enm, 
n m 


于 是 , (4) ЖАНЕ. 
下 面 的 注释 往往 是 有 益 的 . 
注 1 非 负 随机 变量 的 数学 期 望 可 以 表示 为 : 
Ес = вир Ез, (6) 
{sES:s LE} 
其 中 5 = {3} 是 非 负 简单 随机 变量 的 集合 (练习 题 1). 
这 样 , 对 于 非 负 简单 随机 变量 , 定义 了 数学 期 望 . 下 面 考 虑 一 般 情 形 . 
设 上 是 随机 变量 , £+ = max(e,0), 上 = – шіп(ё, 0). 
定义 2 称 随 机 变量 和 的 数学 期 望 Et 存在 或 有 定义 , 如 果 Ett 和 ЕЕ 中 至 
少 一 个 有 限 : | 
тіп{Е7, EET} < оо. 
这 时 , 随机 变量 & 的 数学 期 望 定义 为 : 
Её = Egt — EET. 


数学 期 望 EE 又 称 为 函数 上 对 概率 测度 的 勒 贝 格 积分 , (关于 勒 贝 格 积分 的 其 他 定义 
方法 , 见 第 11 小 节 .) 
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定义 3 称 随 机 变量 г 的 数学 期 望 有 限 (或 者 с 可 积 ), 如果 ЕЁ < со Я 
Её < со. | 

因为 [6 = Et +E, МЫ Её 有 限 等 价 于 Е < оо. (在 此 意义 上 按 勒 贝 格 可 积 
具有 “绝对 的 ”特点 .) 

+2 人 除数 学 期 望 Et 外 , 随机 变量 с 的 重要 数字 特征 还 有 Ес" (如 果 它 存在 ) 
和 ВЕ", r > 0, 并 相应 地 称 为 随机 变量 E 的 г ИЖ r- Ия АЕ. 

注 3 在 上 面 给 出 的 勒 册 格 积 分 人 sqP 的 定义 , 曾 假设 : 测度 Р 是 概率 测度 
(P(Q) = 1), m #7 — ЧИЖ (随机 变量 ) 上 ER = (оо, оо) PRE. 现在 假设 测度 
凡是 定义 在 可 测 空 间 (9,9) 上 、 且 可 能 取 +со 为 值 的 任意 测度 , 而 < = Elw) 是 在 
R = [一 00, оо] EREK F- 可 测 函 数 (广义 随机 变量 ). 这 时 , 勒 幢 格 积分 


] é(w) ulde) 


用 同样 的 方法 定义 : НБ, 对 非 负 简单 函数 E ( 按 (2) АЛ Р 换 成 р), 然后 , 对 任意 
非 负 简 单 函数 E, 一 般 按 公 式 


J Eola) = J E aw) - f E mae) 


定义 , 只 要 不 出 现 оо — оо 的 不 定式 . 
对 于 数学 分 析 , (9,9) = (R, BR) В ш 是 勒 贝 格 测度 和 的 情形 特别 重要 . 这 


时 , 将 积分 
| Е (=) (ат) 
记 作 _ 
f &(т)4т, 或 (L) J é(x)dz, 
R — 00 
以 强调 它 与 黎 曼 积分 _ 
(R) ] (аз 
的 区 别 . 假如 ( 勒 贝 格 — 斯 蒂 尔 切 斯 ) 测度 对 应 于 某 广义 分 布 函数 С = Gla), NE 
分 
| Е()и(аа) 
R 


也 称 做 勒 贝 格 - ж Жыя, FA 
@-5) | &(®б(дъ). 
以 示 其 与 相应 的 黎 曼 - 斯 蒂 尔 切 斯 积分 ( 见 下 面 第 11 小 节 ) 
R-s) f _ E(2)G(da) 
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的 区 别 . 
ШЕШ Ж D, 可 见 假如 定义 了 ЕЁ 则 对 于 任何 дея 也 就 定义 了 数学 期 望 
E(tEIa), 亦 常 使 用 下 列 记 号 : 


E(E; I4) 或 «лар, | вар, 


其 中 最 后 一 个 积分 习惯 上 称 做 “Е 对 测度 PP 在 集合 4 上 的 勒 贝 格 积分 ”. 
R, 对 于 任意 测度 jy, 下面 两 种 表达 式 等 价 : 


/ Гади, ] аи. 


特别 , ШЖ и 是 п 维 勒 贝 格 一 斯 蒂 尔 切 斯 测度 , А = (a1, bi] x … x (an, bn], 则 可 
以 将 Г, ёди 写成 
bi bn 
J =. [ (z1, ,Tn)M(dr1:..drn). 
ШЖ j 是 勒 贝 格 测度 , 则 将 (ах. --- den) 简单 写成 dzi- dan. 


3. 随机 变量 的 数学 期 望 Et 的 性 质 
A. Ec AFR, Н BE ВД, Я] Elt) 也 存在 , 并且 


Е (сё) = cEé. 


В. #5 <'й 
Её < En, 


PP, ж 一 Oo < Её, 则 
-00 < En Н E£ < Ем, 


或 若 En < оо, Я 
Её < сх Н E£ < En. 


С. Æ Ес 存在 , 则 
|Е&] < Elél. 


О. $ Её 存在 , 则 对 于 每 个 4 € ,数学 期 望 EI) ВА; # Et AR, Я 
E(tI4) LAR. 
Е. + © 和 是非 负 随 机 变量 , 或 满足 || < оо, Ejn| < оо, № 


Е(& +n) = EE + En. 


(关于 这 一 性 质 的 推广 见 练习 题 2) 
证 明 ”性质 A ~E 的 证 明 . 
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(а) 对 于 简单 随机 变量 , 命题 显然 . 设 c > 0;& > 0,6. ТЕ, 其 中 &„ 是 简单 随机 变 
Е. ЖА, 由 于 сё» Т сє, 可 见 


Е (сё) = lim E(cén) = clim Её, = cEé. 


在 一 般 情 形 下 , 需要 利用 表示 & = ЕЕ, 并 注意 到 , 对 于 c> 0, (с) + = сё, (с) = 
cE, MXIT c< 0, (сЕ) = сЕ, (сё) = cét. 

(b) Æ 0 < Е < т, N ЕЁ 和 Ел FEH Её < En, 由 此 (6) REE. MER 
Её > -co, 则 Её- < со. F E <n, < ЖЕ > рг. НЕТ < EE < оо, 
从 而 Ел 存在 , 且 

Её = Et — EET < Ей" — Ey = En. 

类 似 地 考虑 En < со 的 情形 . 

(с) 由 于 —|&|<&< |&|, 则 由 性 质 A 和 В, 可 见 


-Е {| < Её < Е, 


Вр |Е&| < Elél. 
(d) 由 性 质 B, 以 及 


(814) = & 1А S Et, (£14) = 1 SE, 
УЛ, Е(&ТА) EAR. 
(е) W En 2 0,1. 2 0, Ш {En} 和 {m} ВНЖ Н е, ТЕ т, їо. Ж 
А, 
E(én, +) = Е, + En, H 


从 而 Е(Е +n) = EE + En. 对 于 Е < оо, Eln| < оо 的 情形 , 如 果 利 用 


Ё = 67 – 7,0 = 17 — 1, 
ПЗ, Е < |, nt т < ||, 


则 可 以 将 其 归结 为 讨论 过 的 情形 . 

数学 期 望 的 进一步 性 质 ”数学 期 望 的 下 一 组 性 质 下 ~ J, 涉及 P- 几乎 必然 
的 概念 . 称 业 一 性 质 P- 几乎 必然 ”成 立 ， 如 果 存 在 概率 为 0 的 集合 ГЕЯ, 
P(S) = 0, RHR ITE wE- N Ra. Ы P 几乎 必然 ” (P-ac.) 的 
概念 同时 , М P- 几乎 处 处 ”(P 一 a. е.) 的 概念 , 或 者 简称 “几乎 必然 ” (a.c.), 
“相应 地 简称 “几乎 处 处 ”(a.e.). | 
Е. № £ = 0 (а.с.), ЕЁ = 0. 
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НЕ, 如果 Е 是 简单 随机 变量 , 上 = > ЈА, (ш), ть £ 0， 则 根据 条 件 
Р(А,) = 0, 因此 ЕЁ = 0. WR > 0 Но<5е <, 其中。 是 简单 随机 变量 , 故 
s = 0 (а. с.), 从 而 Ез=0Ң 


Ес = sup Es=0. 
{3Е5:8<5} 
HF & ==-&, НҢ 6+ < |4,67 < |, М |4 = 0 (а.с.), 所 以 ,通过 极限 过 度 , 可 以 
将 一 般 情形 归结 为 是 简单 随机 变量 的 情形 . 
С. ж E= p (а.с.), А Е{| < со, A} Ejn] < со Н Её = En ( 亦 见 练习 题 3). 
实际 上 , RSN = {w: £ 4n} ДР) -0 А 


S= ly +ély, n= у +11. 
由 性 质 E M F, 得 
Её = Её, + ЕЕГ. = БЕГ = Enl у. 
由 于 Emly = 0, 改 根据 性 质 Е, 有 Её = ЕГ + Enl = En. 
H. # £ 20 Н ЕЁ =0, М = 0 (а.с.). 


为 证 明 ， А = {ш : E(w) > 0}, А, 一 {ш : Elw) > l/n}. 显然 ， Аһ + A,0 < 
£14,, < £14. 因此 由 性 质 B 有 


О < Egla, < ЕЕ = 0. 


从 而 
0 = ЕТА, > —Р(А„), 


即 对 于 一 切 п> 1, Р(А,) = 0. НТ P(A) =limP(4n), 故 P(4) = 0. 

Г. ЖЕ Жет RA Е < оо, Е < ce BAF Ac, A EE) < ENIA), 
WEA E < 0 (а.с.). 

实际 上 , 设 В = {w : E(w) > т(ш)}, Ш E(wIs) < Е(ЕТв) < E(nls), ВВ Е(#1в) = 
Е(пГв). ШЕЖЕ, 有 Е((Е — п)1в) = 0; 而 由 性 质 H, 有 (& — п)[в = 0 (а.с.), 因此 
Р(В) = 0. 

J. 设 上 是 广义 随机 变量 , A Elé] < оо. 证 明 || < оо (а.с). 

事实 上 , 假设 4 = {о : liw) = оо}, Н P(A) > 0, М ЕЕ > Е(Е1А) = 
со x P(A) = оо, 而 这 与 假设 Е|ё| < оо 矛盾 ( 亦 见 练习 题 4) 

4. 数学 期 望 的 极限 定理 ”在 这 一 小 节 讨 论 关 于 在 数学 期 望 ( 勒 贝 格 积 分 ) 号 下 
的 极限 过 程 . 

定理 1 (单调 收敛 性 ) In, E, Ein 是 随机 变量 序列 . 

а) Ж RFH п > 1,&„ >т, Ж Ей > —со, Н &„1&, Ж 


Её» Т Е&. 
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b) RATH n > 1,&„ <n, A Еп < со, H én |&, Ж 
Её» | Е<. 


证 明 а) 首先 假设 n> 0. 假设 对 于 每 一 个 k > 1, 简单 函数 序列 {00}, 当 
п — оо R & "ТЕК. 记 С = тахса Ө. 那么 


(п g co) = (п) < а 
СС = шах & < шах бк = 6. 


с = іт, 6". 因为 对 于 І<Е< А, 
E < ёл. 
А, ЖА п 一 со 时 取 极 限 , 则 对 于 任意 上 > 1, 有 
Ek SÇ < 6, 


因此 上 = С. 

由 于 с“ 是 简单 随机 变量 且 с тс, 则 

ЕЕ = ЕС = lim ЕС < lim Eén. 

为 一 方面 , 显然 , НТ én зе SE Ж 
从 而 ши Ес, = Ег. 

现在 假设 п 是 任意 随机 变量 , Н En > 一 ce. 

WR En = оо, 则 由 于 性 质 B, 可 见 ЕЕ, = ЕЁ = оо, 从 而 命题 得 证 . 设 En < оо, 
则 考虑 到 关于 的 假设 En > -co, 得 Eln! < оо. 显然 , 对 于 一 切 w en,0<éE, -nf 
E-n. 从 而 , 根据 上 面 已 证 明 的 结果 , 有 Е(&„ 一 7) TEE- n), 因此 (ШЕЛ Е) 和 练 
习题 2) 


Е&„ — Еп Т Е&— 
因为 Eln| < со, 所 以 当 n оо 时 ЕЕ, 1 E£. 
如 果 将 原 变 量 加 上 人 负 号 , 则 可 以 由 命题 a) 得 到 命题 b). 口 
Ж Ж {т} 是 非 负 随机 变量 序列 , 那么 
=>. ТР = > Enn. 
证 明 由 数学 期 望 的 性 质 Е ( 亦 见 练习 题 2); 单调 收敛 定理 , 以 及 当 上 一 оо 时 
и, { У 
n=l 


HEESEN C 
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定理 2 (法 图 [P. Fatou] 51) H n, &, 6, 是 随机 变量 . 
а) 如 果 对 于 一 雪 n ‘l, én 2 т, В. En > —оо, Я 


Elimén < Ши Ён. 
b) ЖЯ — 37 n > 1,5„ <n, А Ей < оо, № 
limEé, < Elimé,. 
с) 如 果 对 于 一 切 n 之 1,|&n| <n, А En < o0, R] 
Еш, < limEé, < limEé, < Elimé,.. (7) 
证 明 С, = infm>n Em, № 
limén = lim inf & = lim Gn. 
明显 地 Cn 1 limén, 且 对 于 一 切 n > 1, 有 之 n. 那么 ,有 定理 1 有 
Plimé, = Е Шт» = lim ЕС, = lmBcn < Еш. 
从 而 命题 а) 得 证 . 由 а) 可 得 b). На) Ab) 可 得 c). 口 


定理 3 ( 勒 贝 格 控制 收敛 定理 )” 设 随机 变量 1 上 tc ЖА КИ: |.| < 1, 
Ел) < œ, Ё én > E (а.с.), ЖА,Е&| < оо, 


Elén| 一 E, п 一 оо, (8) 


Е, 一 E| 一 0, п 一 оо. (9) 
证 明 根据 假设 limé, = Шо, = Е (а.с.). 因此, 由 性 质 G 和 法 图 引 理 (命题 
с)) 
Её = Еіс, < шпЕ&,„ 一 НЕ» = Elimén = ЕС, 

因而 (8) 式 得 证 . EAA, |El < 5. 所 以 Е < оо. 

只 需 注意 到 |, — | < 21, 即 可 证 明 命 题 (9). 

ж ” 设 随机 变量 nE, 5,52, 满足 条 件 : |En) < п, ә © (ас), АЖАЛ 
р> 0, ЕР < со, 则 Elél? < œ, Ни п» осо ЕЕ, — |? — 0. 
为 证 明 此 系 , 只 需 注意 到 , |El < ЖП 


én — &|Р < (&„] + IED? < (27)2. 


在 法 图 引 理 和 控制 收敛 定理 中 , 保障 公式 (7) ~ (9) RARR “Enl < п, En < 
оо”, 可 以 略为 减弱 . 为 表述 相应 的 结果 (定理 4), 现在 给 出 如 下 定义 . 
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定义 а 随机 变量 族 {En} ЖИ (对 测度 Р) 一 致 可 积 的 , ШЖ 


sup | én|P(dw) 一 0,с 一 оо, (10) 
{1&һ1>с} 


或 (在 其 他 记号 下 ) 
sup Е 6,11} 一 0,c оо, | (11) 


显然 , 如 果 随 机 变量 如 ,mn > 1 满足 条 件 [61| < п, En < оо, 则 随机 变量 族 {£n} 
是 一 致 可 积 的 . 

定理 4 设 随机 变量 族 {inj 是 一 致 可 积 的 . 

а) 那么 


Еш» < limEé, < БЕ» = Elimé,. 
b) 此外, 如 果 En — 6 (а.с.), 则 随机 变量 8 TH, В 
Еб. > Et, п э оо, 
Blén -E| 0, п—› оо. 
证 明 а) 对 于 任意 c > 0, 有 
Её, = Е& Це <_св} + В ЦЕ, zc} (12) 
由 于 一 致 可 积 性 , 对 于 任意 。 > 0, 可 以 选择 充分 大 的 с, 使 


sup [Eén Te <р < E. (13) 


由 法 图 引 理 , 可 见 
ШЕЕ, > с} 之 Elimén lien >с). 


因为 Enlienz-e} 2 En, 所 以 
limkEén Te >-e} 2 Elimén,. (14) 


由 (12)--(14) 式 可 得 


limEé, > Еш, ~ Е. 


由 于 e > 0 是 任意 的 , ПА limEé, > Elimé,. 
类 似 地 , 可 以 证 明 : ПЕ, < Elimé,. 
至 于 命题 b), 则 其 证 明 与 定理 3 相应 命题 的 证 明 相同 . 口 
下 面 的 定理 , 更 完整 地 揭示 了 控制 收敛 定理 的 意义 , 并 给 出 了 在 数学 期 望 号 下 
取 极 限 的 充分 和 必要 条 件 . 


. 198 、 第 二 章 ”概率 论 的 数学 基础 


定理 5 设 0<<6 > &(Р-а.с.), 而 Е&, < оо. ЖА, ЕЁ, 一 ЕЁ < оо 的 充分 和 
必要 条 件 是 : МАЕ {inh ATAR. 

证 明 由 定理 4 的 命题 b) 可 见 充 分 性 成 立 ， 为 证 明 必 要 性 , 考虑 (ARRE 
数 ) 集合 А = {a : Р{Е = а} > 0}. ЖА, РЕ а A, 6,0 сар > Ца): 
并 且 随 机 变量 族 {Enl аи: 一 致 可 积 . 因此 ， 由 于 “充分 性 ” 知 ， 对 于 每 一 个 
a ¢ А,Б. <a} 一 了 EMe<a 24 п —+ оо 时 


Eén fe, >а} — ЕбПеза}, а Ф А. (15) 


固定 £ > 0, 选取 充分 大 的 ао g А, 使 Eélezao!} < є/2; 然后 选取 №, 使 对 于 一 
Яп> №, A 
Een Це, зао} < ЕЦЕ, zao} + 3 
因而 Е, >а) SE 最后, 选取 充分 大 的 ai > ao, 使 对 于 一 切 п < МЕЁ, Це, zo) 
和 є. 那么 ， 
sup Е би ЦЕ, >а} ЗЕ, 


TÆ, {Enn 的 一 致 可 积 性 得 证 . Г] 
5. 一 致 可 积 的 准则 ”首先 指出 , 如 果 随 机 变量 族 {6&,},;,>1 一 致 可 积 , 则 


sup Elén,| < оо. (16) 


实际 上 , 对 于 固定 的 < > 0 和 充分 大 的 c> 0, 


sup Elé,| = вир[Е|&» {|>} + В 6. Це, < с} 
< sup Е 6,1 е, zc} + вир Е| Дуе, |<ер ЗЕ + с. 


因此 (16) 式 得 证 . 

结果 表明 , 条 件 (16) 连同 所 谓 “ 一 致 连续 性 ” 条件, 是 一 致 可 积 性 的 充分 和 必要 
条 件 . | 
引 理 2 随机 变量 族 {inh 一 致 可 积 的 充分 和 必要 条 件 , 是 Е|&„|(® > 1) 
-KAT (PP (16) 式 成 立 ) 和 Eiléan 21) 一 致 连续 ( 即 当 P(A) 一 0 时 
sup, E{lén ГА} — 0). 

证 明 必要 性 . 上 面 已 经 验证 过 条 件 (16). 其 次 , 有 


Е{|&„ 1А} = Е {| langeni} } + E{lén antene} (17) 
< Е 6. Це, >} } + cP(A). 


选择 с 充分 大 , 使 
sup Е{|& 16,12} < >. 
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ЖА, WR P(A) < =/2с, 则 由 (17) 式 , 可 见 


вир Е |6» |Гд} < =. 


因此 必要 性 得 证 . 
充分 性 . => 0,6 > 0, 由 条 件 P(A) < 6, п 一致 有 Е{|&„|ТА} <=. 因为 对 
于 任意 с> 0, 
Е|$„] > Ef{lén Т(Е,|>с}} > СР] >с} 


(对 照 切 比 雪夫 不 等 式 ), 所 以 


sup P{lén| > с} < ~ sup Elén _—›0,с— оо. 


因此 , 对 于 充分 大 的 с, 作为 集合 А 可 以 取 和 集合 (|4, > c}(n > 1) 中 的 任意 一 个 . 于 
是 , 一 致 可 积 性 得 证 . 口 
下 面 的 引 理 给 出 了 便于 应 用 的 一 致 可 积 性 的 充分 条 件 . 
引 理 3 Réin 是 可 积 随机 变量 序列 , 而 G 二 G(t) 是 定义 在 (0, оо) 上 的 
非 负 增 函 数 , 满足 


Шт ү 一 Оо, (18) 
зир ЕС(|& |) = оо. (19) 


ЖА, 随机 变量 族 {&n}n>1 一 致 可 积 . 
证 明 设 <> 0, М 
М = ѕирЕС((61),а = =. 
{с 充分 大 , 使 对 于 t > c 有 G(t)/t > a. ЖА, RF n > 1 一致 有 
1 M 
Еее $ EICO Miena] < T = 6. ш 


б. 独立 随机 变量 之 积 的 数学 期 望 如同 第 一 章 84 第 5 小节, Р éA n EA 
立 简单 随机 变量 的 情形 , 证 明了 Ел = E x Ел. 现在 证 明 类 似 命题 的 一 般 情形 (ЖК 
见 练习 题 6). 
定理 6 假设 和 7 是 独立 随机 变量 , НЕЕ < оо, Е} < оо. ЖА, Е |7| < оо, 
В 
Etn = EE х En. _ (20) 


证 明 首先 , 假设 <>0,7>0. 记 


А А 
рэк ӨЗЕГЕ 
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Д] Е, < Е, Е, — &| < 1/п A т, < о, | — | < 1/п. 由 于 Её < оо, En < оо, 则 根据 勒 


贝 格 控制 收敛 定理 ， 
lim EEn = EE, lim En, = En. 


其 次 , 由 于 上 和 7 独立 性 , 当 一 co 时 , 有 
КІ 
Бел = У BBa cecen pleco) 


kl 
>. ЕЕК} x Blf tenit} = Eén x Em. 
К,{>20 


因此 , 当 п 一 oo В, 有 
[EEn — Е пи < Elén — бп < Eléln 一 т] + Eln,lé — Enl] 
< ЕЕ (n+ ) — 0. 
n 7 т, 


十 是 ， 
Её = lim Её» = lim Eén, x lim м = ES x En, 
并 且 Её < оо. 
如 果 利用 关系 式 
= En = nt -n En = Ett Ent Et ETN, 
则 一 般 情 形 可 以 归结 为 上 面 讨论 的 情形 . ш 


т. 与 数学 期 望 有 关 的 不 等 式 ЗЕЕ УЗЕННЭН РЕ, 这 些 不 
等 式 在 概率 论 以 及 数学 分 析 中 都 有 系统 的 应 用 , 其 中 许多 已 经 在 初等 概率 论 中 介绍 
过 ( 见 第 一 章 64 和 85). 

切 比 雪夫 不 等 式 . Я Е 是 非 负 随机 变量 , 则 对 于 任意 < > 0, 有 


P{E > e} < 2. (21) 
证 明 ЯЙ, 
Её > EléIre>e}] > EEl{e>e} = eP{é > =}, 
由 此 立即 得 不 等 式 (21). 由 不 等 式 (21), 可 得 切 比 雪夫 不 等 式 的 如 下 等 价 形式 : 如 果 
是 任意 随机 变量 с, M | 
P{é > e} < 2 (22) 


和 | 
р 
РЕ – E£] > e} < 2$, (23) 
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其 中 DE = E(E - ЕЁ)? 是 随机 变量 上 的 方差 ， 
柯 西 - 布 尼 亚 科 夫 斯 基 不 等 式 ” 假 设 对 于 随机 变量 E fen, EE < оо, Ет? < оо. 
Я А, ЕЕ < œ H 
(Е)? < ЕЁ? x En’. (24) 


证 明 假设 EE? > 0, En? > 0. ЖА, 记 


ч" 
т 


__& —_ 
E 五 22 1) En? ? 
则 由 2127 < 22 + 72, 可见， 


28|] < Её? + Ей? = 2, 


即 EIEI < 1, 由 此 得 不 等 式 (24). 
假如 ЕЕ? = 0, 则 根据 性 质 = 0 (a.c.), MIRRE F, Etn = 0, FÆ, 不 等 式 
(24) 仍然 成 立 . 
延 森 (1. Г. Jencen) FER HIF z CE 及 ,g = g(x) Жш (ЖЖ) 博 雷 尔 
2%, E EJE < со. ЯА, 
9(Е&) < Е 9 (6). (25) 
证 明 由 于 9=9(z) ЖМЖ, 故 对 于 每 一 点 хо є В, FE Azo), 使 对 于 一 切 
LER, 
9(2) > 9(т0) + (ж — хо) А(то). (26) 


t x = E 和 zo = Ес, 则 由 (26) 式 可 见 
9(5) 2 9(®&) + (x – ЕВ) Л(Е®). 


于 是 , 在 上 式 两 侧 同 求 数 学 期 望 , 得 Е0() > g(Eé). | 口 
由 延 森 不 等 式 可 以 导出 一 系列 有 用 的 不 等 式 . 下 面 举 几 个 例子 . 
李 亚 普 诺 夫 不 等 式 对 于 0<s<t, 有 


(Е||°)2/° < (ЕЕ, (27) 


易 见 , EW г = t/s,n = El, 并 在 延 森 不 等 式 中 设 g(x) = |e, 则 得 [En < 
Е", 80 
(ЕЕ |)" ° < Еј, 
由 此 立即 得 不 等 式 (27). 
由 李 亚 普 庄 夫 不 等 式 , 得 如 下 绝对 和 五 之 间 的 一 系列 不 等 式 : 


Elé| < (Е |2)1/2 <... < (ЕЕ). (28) 
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-o praha 


赫 尔 德 (О.І. Hölder) ЖА Ж 1<р<оо,1<@0< ох Н 1/р+1/4 = 1. 
如 果 ЕЈ]? < оо, Е] < оо, # Е) < oo В 


Elén| < (ЕР)? (Е). (29) 


证 明 ”如果 ЕР = ОЕ = 0, 则 立即 得 不 等 式 (29), 就 像 柯 西 — 李 亚 普 
诺 夫 不 等 式 的 情形 一 样 G p =q = 2 时 , 赫 尔 德 不 等 式 就 是 柯 西 - 李 亚 普 诺 夫 不 等 


式 ). 
В: Еј? > 0, Eln]! > 0. 记 
zo Kl ~o inl 
$ = (Е Р)ИР’ п = (Е |219) 179. 
不 难 证 明 不 等 式 


ry < az + by, (30) 
其 中 z>0y>0a>05>0a+b=1 实际 上 , НХЛ, 可 见 
In(az + Бу) Раш z+bln у = 139; 


经 对 数 还 原 , 立即 得 (30) 式 . 
在 (30) 式 中 设 т = ЕР, у = 9, а = 1/р,Ь = 1/9, 得 
Ey < tE a Ean, 
p> q 
=1. 


~ loy А 
ESN < —Е&Р + -Em = 
p g 


1 
十 一 
9 


1 
Р 
TE, (29) AHE. 口 
АЯЙТ (Г. Минковский) RER ”如果 Elél? < оо, Elnl? < оо,1< p < оо, 
则 EJE + 17|? < оо, Н. 


(EJE + |?) P < (ЕР) Р + (ЕР). (31) 
证 明 首先 证 明 如 下 代数 不 等 式 : ШЖ a,b > 0 pèi, W 
(a+b)? < 2Р_1(аР + bP). (32) 


实际 上 , 考虑 函数 Р(х) = (а + х)? — 2Р-КаР + x”). 那么 
Е'(2) = р(а + х)? — 2? px?", 
而 由 于 р> 1, ИЖ z <a, F'(a) =0,Е’(х) > 0, 而 对 于 z >a, Е" (т) < 0. 因此 ， 


F(b) < тах F(z) = F(a) = 0, 
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从 而 不 等 式 (32) 得 证 . 
利用 不 等 式 (32), 得 
E+ P < (|&| + 1)? < 22 (||? + InP). (33) 


因此 , 如 果 ЕЕ]? < оо, Е]? < оо, 则 EIE + n? < оо. 
如 果 p= 1, 则 由 (33) 式 可 得 (31) 式 . 
现在 假设 p>1. Жа>1, & 1р+1/а=1 W 


ЕР = [E + Е + РТ! < IEE + nPE + ЩЕ + 2—2. (34) 

因为 (р- 1)а = р, 所 以 
E(é + 117 2) = ЕЕ + |Р < оо. 
因此 , 由 赫 尔 德 不 等 式 , 有 
E(JEJIE + 017—1) < ВЕР) + 0102—09) 1/0 = (ВЕРЕ + ПР). 
同样 可 得 
Е (Е + 277) < (Ер?) P (EE + |7) 27, 
从 而 , 由 (34) 式 有 
EJE + n|? < (Е|& +) (ВЕР) + (ЕР). (35) 


WF ЕЕ + wj? = 0, 则 和 欲 证 明 的 (31) RER. 现在 假设 ВЕ? > 0, 则 由 (35) 
A A | 
(EJE + |Р)! Ye < (ВЕР) + (ЕР). 

FÆ, 由 于 1- 1/4 = 1/р, 得 所 要 证 明 的 (31) R. 口 

8. 拉 东 — 尼 科 迪 姆 (J. Radon-O. М. Nikodým) 定理 ” 设 随机 变量 < 有 数 
学 期 望 Ес. ЖА, НМ О, 决定 一 集 函 数 


О(А) = | EdP, АЕ. (36) 
А 
现在 证 明 , 该 函数 是 可 数 - 可 加 的 . 


首先 假设 с 是 非 负 随机 变量 ， 若 дд... 是 多 中 的 两 两 不 相交 集合 记 


‚ О(А) = Е(ЕТА) = E (уа) = Е(У Elan) = У BE(é14,) = >  Q(An). 


ШЖ е 是 有 数学 期 望 Be 的 任意 随机 变量 , 则 由 下 列 关 系 式 (а) (с), TRX О (А) 
的 可 数 — 可 加 : 
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О(А) = 9 (А) – Q7 (A), (37) 


Q+(4) = / e+dP,Q-(4) = J ар; 
А А 
(b) (上 面 已 证 明 的 ) 非 负 随 机 变量 的 可 数 - 可 加 性 
(с) min{Q+ (2), 9- (9)} < оо. 
这 样 , ШЖ Ег 存在, 则 函数 О = QA) 是 带 符号 的 测度 , 即 可 表示 为 Q = 
Qi- Q 的 可 数 — 可 加 集 函数 , 其 中 测度 О, 或 0 至 少 有 一 个 有 限 
现在 证 明 , 函数 О — Q(4) 具有 如 下 重要 性 质 : 关于 测度 Р 绝对 连续 ， 


如 果 了 (4) = 0, M О(А)=0, (АЕ). 


(该 性 质 简 记 为 Q < P). 
为 证 明 这 一 事实 , 只 需 考虑 非 负 随机 变量 的 情形 , ШЖ 


€= У хь, 
k=1 
是 简单 非 负 随机 变量 , А P(A)= 0, ДІ 


О(А) = Е(#ТА) = У zkP(AkN A)=0. 
k=1 


WMR {Enj 是 非 负 简单 函数 序列 , Н En 1 & > 0, 则 根据 控制 收敛 定理 , 有 
О(А) = Е(&ТА) = lim E(én14,)= 0, 


因为 对 于 任何 n > 1 及 使 P(4) =0 的 4,E(é,14)=0. 
于 是 , 勒 贝 格 积分 
Q(4) = | eap 
А 


作为 集合 A e Я 的 函数 , 是 关于 测度 P(Q <Р) 绝对 连续 的 带 符号 的 测度 . 非常 什 
得 注意 的 是 逆 命 题 也 成 立 . 

Ж 一 尼 科 迪 姆 定理 (0,9) ATAZA u Ao 有限 测度 , 而 入 是 关于 
ш 绝对 连续 的 带 符号 的 测度 ( 即 入 = 和 1 一 A2, 其 中 测度 А, 或 和 2 至 少 有 一 个 有 限 )， 
ЖА, 存在 在 К = [-0, оо] LP F- TARR f = flw), 使 


МА) = ] (и) и(9), AESF. (38) 


В f = fw) 精确 到 и 测度 0 唯一 : 倘若 户 = hw) 是 另 一 Я 可 测 函 数 ， 
Ф 
МА) = | мещ), AEF, 
А 
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Я] {о : Flw) + А(ш)} = 0. 
如 果 j 是 测度 , 则 } = f(w) 的 值 域 为 Ra = [0, оо]. 
式 (38) 中 的 函数 f = f(w), 称 做 拉 东 一 尼 科 迪 姆 导数 , 或 测度 А 关于 测度 и 
的 密度 , 并 且 记 作 | 
| ал А 
du 或 ар ©) 
这 些 导 数 的 一 系列 性 质 , 将 在 下 面 的 87 中 第 8 小 节 介 绍 . 特别 指出 87 中 的 公 
式 (35), 在 置换 测度 的 情况 下 重新 计算 数学 期 望 时 常 要 用 到 . 
具体 地 说 , 设 P A Р 是 两 个 概率 测度 ,BE НЕ 是 相应 的 数学 期 望 , 假设 测度 户 
关于 测度 P 绝对 连续 (Р <Р). ЖА, 对 于 一 切 非 负 随 机 变量 £ = Elw), 有 如 下 “ 数 
学 期 望 换 算 公 式 ”: _ 
ЕС =Е (в) | (39) 
在 不 假定 随机 变量 е 非 负 的 情况 下 , 数学 期 望 换算 公式 仍然 成 立 : 在 随机 变量 
Е 关于 测度 Б 可 积 , 当 且 仅 当 随机 变量 关于 测度 Р 可 积 ; 这 时 (39) 式 成 立 
公式 (39) 的 证 明 并 不 复杂 : 对 于 简单 函数 上 它 可 以 由 导数 dB /dP 的 定义 得 到 |; 
РУЗЕ Ж ©, 首先 , 由 84 定理 1 的 b) 可 见 , 存在 简单 函数 上 Т Eln 一 оо); 其 次 
利用 由 84 中 单调 函数 收敛 的 定理 1 的 а), 即 可 证 明 (39) <. ШЖ 上 是 任意 随机 变 
量 , 则 根据 (39) 式 , 有 | 
841 = Bj E. 
“Е 对 测度 Р 的 可 积 性 ”与 «(ар /ар) 对 测度 P 的 可 积 性 ”等 价 . 至 于 公式 (39) 本 
身 的 证 明 , 只 需要 考虑 表示 上 = t+  &- 即 可 . 
这 里 不 加 证 明 直 接 引 用 的 拉 东 一 尼 科 迪 姆 定理 (例如 , 其 证 明 可 以 参见 [70])， 
将 在 (87) 建立 条 件数 学 期 望 时 起 关键 作用 . 
9. 勒 贝 格 积分 中 的 变量 替换 ”如果 


$ = У zila; 
是 简单 随机 变量 , A = [w : E = xi}, W 
Е9(&) = > о(х;)Р(А,) = > g(xi)AFe(z). 


换 名 话说 , 为 计算 (简单 ) 随机 变量 的 函数 的 数学 期 望 , 没有 必要 直接 利用 全 部 概率 
测度 Р, 只 需 知道 概率 分 布 р, 或 等 价 地 只 需 知道 随机 变量 с 的 分 布 函数 Fe 
下 面 的 定理 归纳 了 这 一 性 质 
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定理 7 ( 勒 贝 格 积分 中 的 变量 替换 ) Ж (0,9) 和 (五 多) 是 两 个 可 测 空 间 . 
ОХ = Хш) 是 以 Е AAR FE- TAAR. P QS) 上 的 概率 测度 ，Px 
是 由 Х = Х(и) #31 (Е,&) 上 的 概率 测度 : 


Рх(А) = P{w: X(w) є А}, А є. (40) 
ЖА, 对 于 任意 E- АЖ о = g(r), хє Е, 
| асдРх(ё) = | 9Жы)Р(вь), АЕ (41) 
А Х-\(А) | 


(其 含义 是 : 如 果 有 一 个 积分 存在 , 则 另 一 个 也 存在 , 并 且 二 者 相等 )， 

A ИЖЕ Аєф@ ЯП g(x) = Inl), 其 中 Beg. 那么 , 欲 证 的 关系 式 (41) 
变 为 等 式 : 

Px(AB)= P(X-'(A)NX- 1(B)), (42) 

其 正确 性 由 (40) RA X-A) п ХВ) = XAN B) 可 见 . 

由 (42) 式 可 见 , (41) 式 对 于 非 负 简单 函数 g = g(z) 成 立 , 而 由 单调 收敛 定理 知 ， 
(41) 式 对 于 任意 非 负 Z- 可 测 函 数 成 立 . 

而 对 于 一 般 情形 , 需要 将 函数 9 表示 为 g+ о; 注意 到 , 因为 (41) 式 对 于 函数 
gt 和 g 成 并, 而 且 例 如 , 车 


] gt (z)Px (dz) < оо, 
А 


则 
„б ОРОВ) < оо 
说 明 若 
«Рх (8а) 


FE, 则 积分 存在 
J g(X (w) P (dw). C] 
X-1(A) 


Ж (Е,&)=(К,.#©(Е)), 而 = E(w) 是 概率 分 布 为 Р, 的 随机 变量 . RZ, 如 果 
д 二 9(7) 是 博 雷 尔 函数 , 而 积分 


/, д(х)Р (ат) 或 / IEP (A) 


存在 则 
f g(x)Pe(dz) = | (Раш). 
А &-1(А) 
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Eg(E(w)) = / g(€(w))P(dw) = | g(x) Pe(dz). (43) 
测度 Р. 可 以 唯一 地 由 分 布 函 数 还 原 (83 定理 1). 因此, 勒 贝 格 积分 
f g(x) Pe(dz) 
R 
常 记 作 
| g(x)Fe(dz) 或 


并 称 做 (关于 分 布 钞 数 Fe(z) 所 对 应 的 测度 的 ) Ж 
考虑 分 布 图 数 Fe(z) 有 密度 у(х) 的 情形 , ЕР 


дағ, 


„а 


格 — М ЖЖ. 


кт) = | 天 dy (44) 


其 中 fe = fela) 非 负 博 雷 尔 函数 , 而 积分 是 集合 (-o0,z] EATE Л ЖИЛЕ Л 
格 积分 ( 见 第 2 小 节 注 3). 在 (44) 式 的 记号 下 , (43) 式 有 如 下 形式 


вд) = | © об) (ш), (45) 


其 中 的 积分 是 函数 (х): (2) 按 勒 贝 格 测 度 的 勒 贝 格 积分 ， 事 实 上 , 如 果 gl) = 
Ів(х), В € (R) , М (45) 式 有 如 下 形式 : 


P(B) = J к ГЕ (х)ах, В € B(R), (46) 
其 正确 性 由 83 的 定理 1 和 如 下 公式 可 见 : 
b 
F(b) — F(a) = | /е\т)ат 


一 般 情 形 的 证 明 , 与 定理 7 的 证 明 相 同 . 
10. 傅 比 尼 (Т.Г. Fubini) 定理 考虑 带 测度 u 的 可 测 空间 (0.277), Е О = 
О. х92,Я = Я © 9.2, 而 测度 u= ил x ио 是 有 限 测度 p ЯП н» WER, 即 在 多 
上 的 测度 : 
pı X (A x В) = и1(А)и2(В), АЕ, ВЕ. 
(由 下 面 将 要 证 明 的 定理 8, 可 见 这 样 测度 的 存在 性 ). 


下 面 的 定理 有 重要 意义 , 就 像 数学 分 析 中 关于 “二 重 黎 曼 积 分 化 为 二 次 积分 ”的 
著名 定理 一 样 . 
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定理 8 (ЖИРЕ) ЕЕ, р) FIF- TAEK, 并 且 关 于 测 
Ж рі х ро 可 积 : 
人 А [< (мл, шә) |а( X u2) < оо. (47) 


那么 ,积分 
J Elw wau (Ча) 和 f E(w, оз) (ао) 
Оң $22 


1) 对 于 u- 几乎 一 切 w 和 pm- 几乎 一 切 шу 有 定义 ; 
2) AFi- pF ма Э{- Н 1н ду М, 


| 
© 


иә foz | 人 Ваза (дил) = =) (48) 


m fwi: f еба) аав) = со} = 0; 
3) 
f, a enoda хш) = | |f elor wauawa] mta) 
= [| әна) мәал). a9 


证 明 (1) 首先 , 证 明 对 于 任意 固定 wi E€ Ошо 的 函数 © (w) = ё(ш\,шз) 是 
я. 可 测 的 
设 Fe IF QF a 和 (ил, wa) 一 Гк (шы, wo). 10 Fo, = {ш Е Qə: (ал, шә) = Е} 
为 F 在 点 wi 处 的 截 线 , ЖР, = {FEF Е, є Fs}， 需 要 证 明 对 于 任意 
ш, ш, E F. 
ШЕ Е=АхвВ,АЕ.Я, BEF, М] 


В, wi Е А, 


дхн. = 


因此 ， АН ЯГА 9. НА, Ш ЕЕ, Ш (Р), = R, ME 
(Fna: Æ F PHRA, W (Е), = ЈЕ". 由 此 可 见 多 EF. 
现在 假设 ©(ш,шо) > 0. ЖА, 由 于 对 于 每 一 wi, 函数 & (w) = E(wi,w2) 是 
Fa- НИНУ, 则 积分 
人 Elw, 2) H2(dw2) 


有 定义 . 现在 证 明 该 积分 是 F 可 测 函 数 , Н 
ГА ИА son ла) ил (41) = 人 Ewi, w2)d(u1 x рә). (50) 
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假设 ©(ш1,ш2) = ГАахв(и1, wz) А Є ЯВ є Fao, MAF 74xB(wliw2) = 
Ta(wi)IB(w2), И] М, 


f Гахв(ол wa)uz(dwa) = Talon) | Ig(wz)p2(dw2). (51) 
Nə {22 


因而 , (51) 式 左 侧 的 积分 是 Fa- 可 测 函 数 . 
议 E(w wz) = Тк(шу,ш2),Ё € # 一 .多 1 ® 40, 证 明 积 分 


бл) = J Ip (шлу, w2)u2(dw2) 


F- 可 测 . 为 此 , WE = {РЕ : Ки) AF Мм}. 由 于 已 经 证 明 集 合 4xB 
BT E, (АеЯ, BEF), 说 明 由 这 样 集合 组 成 的 代数 .名 也 属于 Я. 由 单调 收 
MERIN, ЖЖ 2” 是 单调 类 , ДР = (7) ЕЯ # 的 最 小 单调 类 . 所 以 , 由 于 包 
КЖ. 6 СРС, ММ 52 ER 1, НЯ, 9 =0(.4) = HB) © (т) = 多 С, 
ШП =.%. 

最 后 , 如 果 (ил, 2) 是 任意 非 负 #— AAR A, 则 由 单调 收敛 定理 和 $4 定理 
2, 可 见 下 面积 分 的 Fa 可 测 性 : 


| (ил, и) из (9/2). 
{22 


MEER, 定义 在 多 = Я @ 9, Е, НАЯ: p = шх uA х В) = 
ш1(А)н2(В),А Є 31, В Є Fa, 的 测度 H = МХ H2, 测度 确实 存在 而 且 唯 一 . 对 于 
FES, 


ШЕ) = ГА ГА ТЕ. боз)иа( вы) из (dw1). 


如 已 经 证 明 的 ,上面 的 二 次 积分 中 里 边 的 积分 是 F- 可 测 函 数 , НЕРЖ uF) 
HEN РЕЯ 有 定义 . 显然 , E F= AxB, №] и(АхВ) = и (Адиз(В). 8 {F°} 
是 9 中 两 两 不 相交 的 集合 , 则 


H (5 ғ") -J [А Ду; Е"), (оиа) ша (дол) 
А.У 
= /, es еза) | был) = Уб") 

FE, иж EK (с- AR) 测度 . 


由 卡拉 泰 奥 多 里 定理 , 可 见 该 测度 是 唯一 具有 性 质 4 x В) = ш.(А)ио(В) 的 
测度 . 


| / 1, возр) m (dun) 
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现在 证 明 (50) R. WR E(w, w) = TaxB(wi,w2), АЕ ВЕ 2, №) 
f ГАхв(ил,02) и X ро) = H1 X p2(A x В), (52) 
Охх?» 
而 由 于 TaxB(wiyw2) = ЇА(илу)Їв(шәо), ИТ 
人 人 С] (аил) 
= | тлф) f С] (dwi) = р (А)ро(В). (53) 
О, О» 
根据 测度 ui x ua 的 定义 


шх (Ах В) = и1(А)и2(В), 


由 (52) 和 (53) 式 ， 可 见 对 于 E(w, шә) 一 Тлх в (1, 422), 式 (50) OL. 
现在 设 Elw w) = ТЕ (ил, w) FEF. 集合 的 函数 


МЕ) = ] Те (ил, wodl x из), FE F, 
NxN 

显然 是 o- 有限 测度 . 不 难 验证 , Жр 

КР) = | | М. тесле) (а) 
也 是 这 样 的 测度 . 上 面 已 经 证 明 , 测度 А 和 > ЕЕЕ = A x B 的 集合 上 重合 . 
因此 也 在 代数 .名 LES. 由 此 根据 卡拉 泰 奥 多 里 定理 , 可 见 测度 入 和 wv 对 于 一 切 
Ес.Ф ЖФ. 

(1) 现在 证 明 传 比 尼 定理 本 身 的 命题 . 由 (47) 式 , 有 


f ЄТ (w1, w2)d(u1 X p2) < х, | ET (ал, що )4(ра х ро) < оо. 
91х02 Ni х9, 


由 已 证 明 的 知 , 积分 
J E+ (wi, wa) из (ди 


是 wi 的 Я 可 测 函 数 , Н 
/ / созда (аз) pilden) Е f ET (w, шо (ил xX H2) < бо, 
1 ёо; Я:х92 
因此 , 由 练习 题 4 ( 亦 见 第 3 小节 的 性 质 J) 


J Et (w1, м2) из (42) < со(и1 ~ а.с.). 
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J E~ (ил, w2)ualdwa) < œ(H1 ~ а.с.), 


/ E(w, 2) м2 (dw2) < оо(ш — а.с.). 
显然 , 除 测度 р, 为 0 的 集合 .4Y 外 ,有 
| елгада) = f большом (аә) — | Ето) (шо). (50) 
{2 $22 {2 


假设 其 中 对 于 ш, є N, 积分 等 于 0, 则 可 以 认为 (54) 式 对 于 一 切 wi є О, 成 立 . 那 
A, 考虑 到 (50) R, 将 (54) 式 对 测度 и, 积分 , 得 


人 ГА СТ] шу (дш) 
= 人 | 9, С] ша (аил) 一 ЈА ИА Є (w1, 2) и2 (962) | ил (91) 


- f + (wi, wa)d( pa x иә) — ] E~ (шл, оз) (ш x нэ) 
ОлхО» {21 Ж 522 
- | (ил, 22) А(ра X рә). 
(21 х 425 
类 似 地 证 明 (48) 式 第 一 个 关系 式 和 下 面 的 等 式 ， 
/ ecoeaduaxm= | | f elor wa) (а) из (ди»). Е 
2 хЯ2 О 21 


Ж 如 果 | 
L ИВ бота) ра (Чи) < оо, 


则 傅 比 尼 定 理 的 结论 仍然 成 立 . 
事实 上 , 由 条 件 (50) 可 见 (47) 式 , 因此 健 比 尼 定 理 的 一 切 结论 仍然 成 立 . 
01 设 随 机 问 量 (с, п) 有 二 维 概率 密度 fe ,(x,y), ВП 


Pl(é,7) ЕВ} = 上 Їеп(2, yjdzdy, В Е B(R?), 


其 中 fe,,(z,y) 是 非 负 .多 (R?) 一 可 测 函 数 , 而 积分 是 对 二 维 勒 贝 格 测度 的 积分 . 
我 们 证 明 , & 和 7 的 一 维 概率 分 布 也 有 密度 fele) 和 Г, (у), 并且 


а) = | лдар) = | лдаа (55) 
事实 上 , ШЖ А e . 罗 (R), НЕН ЈЕ 
р{&єА}=Р{@)є Ах} = 人 лабу = || | / еда dz, 
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因此 , 说 明 Е 有 概率 分 布 密度 , 而 (55) 式 的 第 一 个 公式 得 证 . 类 似 地 可 以 证 明 (55) 
式 的 第 二 个 公式 . | 
根据 85 的 定理 , 随机 变量 е 和 7 独立 的 充分 和 必要 条 件 是 


Бе (2, у) 一 ЕВё(х)Р (у), (т, у) < В". 
现在 证 明 , 当 随 机 变量 上 和 7 有 联合 密度 у, (т, у) 时 , 它们 独立 的 充分 必要 条 件 是 : 
fen(T,y) = /е(т) Уи (У) (56) 


(等 式 应 理解 为 关于 二 维 勒 贝 格 测度 几乎 必然 成 立 ) 
实际 上 , 如 果 (56) 式 成 立 , 则 根据 伟 比 尼 定 理 , 有 


F; (т, у) = ] fen(s,t)dsdt = | Fele) fn dsa 


(—оо,ж]х (—00,y] (—оо,ж]х(—оо,у 


— J fe(s)ds S fn(t)dt 


从 而 上 和 7 独立 . | 
相反 , ШЖ Е Я 独立 , 且 有 联合 密度 fe „(т,у), 则 仍 根据 傅 比 尼 定 理 , 有 


,t)dsdt = а па: 
| a ет, 09 La fets) | [Ж 9 | 


- | fe(s)frlt)dsdt 
(一 co;Z]x( 一 co 


= Fe(z)Fn(y), 


由 此 可 见 , 对 于 任意 В Е.В?) 有 
f fen(z, Wdrdy = / felz) fa (y)dzdy, 
В В 


则 有 性质 Т, 易 见 条 件 (56) 成 立 . 

11. 勒 贝 格 积 分 和 黎 曼 积分 的 各 种 定义 及 其 关系 ”这 一 小 节 , 将 要 讨论 勒 贝 格 
积分 和 黎 受 积分 各 种 定义 的 问题 , 以 及 它们 之 间 的 关系 . 

首先 需要 指出 , 勒 贝 格 积分 的 构造 , 与 需要 积分 的 函数 定义 在 什么 可 测 空 间 
(0,7) ER. 然而 黎 曼 积分 , 对 于 抽象 函数 根本 没有 定义 , 对 于 空间 О = R 的 
BÆ, 则 依次 定义 : 首先 对 R! 定义 , 然后 随 看 相应 的 变化 , 依次 对 于 п > 1 的 情形 进 
行 移植 . 

应 该 强调 , 黎 曼 积分 和 勒 幢 格 积分 的 构造 , 基于 不 同 的 思想 基础 . 构造 黎 曼 积分 
的 第 一 步 , 将 ze В! ARRE r 轴 上 临近 程度 的 特征 进行 分 组 . 而 在 构造 勒 贝 格 积 
分 时 , 则 将 хе R! 捕 按 男 一 种 特征 分 组 : 按 被 积 函 数值 的 临近 程度 进行 分 组 . 这 两 
种 不 同 处 理 方法 的 结果 , 使 仅 对 于 不 “十 分 ”间断 的 函数 , 黎 曼 积分 的 积分 和 才 有 极 
限 ; 然而 , 勒 贝 格 积分 的 积分 和 , 却 对 更 广泛 的 函数 类 收敛 于 极限 值 
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PZE E- 斯 带 尔 切 斯 积分 的 定义 . 假设 Gi) Æ R 上 的 某 一 广义 分 布 函数 
(№, 83 第 2 小 节 ), и 是 与 其 对 应 的 勒 贝 格 - 斯 蒂 尔 切 斯 测度 , 而 9 = 9(z) 是 在 区 间 
[а, 6] 之 外 为 0 的 有 界 函 数 . 

Я] [а,Ь] 的 分 割 2 = {zx0,… En}, 其 中 


а= to < T1 < < Tn = b, 


建立 上 积分 和 与 下 积分 和 : 
DE Э (Ti+1) 一 ，》 = 9С (+1) — (т: 
Ф Ф i=] 
其 中 
9: = ока, gly); 9 — Ша, 96у). 


定义 简单 函数 gF (7) 和 gp(Z)， 并 对 于 141 < T S Ti, 设 
72 (7) 一 Gi, gp(7) 一 J; 


F Jala) = gpla) = g(a). 那么 显然 , 与 根据 勒 贝 格 - ИЕН ( 见 
第 2 小 节 的 注 3), 有 


КИН b 
= 0-5) | бә()С(дт) 
go a 


和 和 b 
у= 0-8) J gp(z)G(dz) 
р a 
现在 设 {Pr} 是 分 割 序列 , 满足 Р, с Pry, 且 对 于 Pp = {х®... „Фр 24 
k — oo 时 шах Цена = | 0. 那么 ‚ JP, 2 JP, 2 72920-29 29», H 


如 果 |g(z)| < С, 则 根据 控制 收敛 定理 , 有 
— b 
lim Уу = 0-5) | #2) 6»), 


>, 
Ь (57) 
lim у = (0-5) [| 946495) 


HP g(x) = Шик де, (т), g(7) = limk gg (2). 
如 果 极 限 Шах $ ур, 和 [ак о», AR, 相等 , 其 共同 值 与 分 割 序列 {22 的 选 
择 无 关 , ДКК о = g(x) 黎 曼 -斯 蒂 尔 切 斯 可 积 , 而 它们 极限 的 共同 值 记 作 


% 


b b 
(Б —5) ] (=) 6 (ат), È (R-S) ] g(z)dG(z). (58) 
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当 G(z) =т 时, 该 积分 称 做 黎 曼 积 分 , WE 
b 
(В) ] g(z)dz. 
现在 假设 
b 
(L= $) [| g(z)G(dz) 
是 相应 的 勒 贝 格 - ЖЖ иж ( 见 第 2 小 节 , 注 3). 
定理 9 如 果 函 数 g = g(z) E lab] Ltt, NCES- 斯 芒 尔 切 斯 可 积 Н. 
b b 
(Е 5) ] g(x)G(dz) = (L — 5) ] g(z)G(dz) (59) 
证 明 由 于 函数 = g(x) 连续 , 可 见 5(x) = g(x) = 9(т). 因此 , 由 (57) R, 有 


pm 2 Е am 2 

于 是 , 连续 函数 9 = о(х) RE - 斯 蒂 尔 切 斯 可 积 , 并 且 (仍然 由 于 (57) R) 其 积分 
等 于 勒 贝 格 - 斯 蒂 尔 切 斯 积分 . 口 

对 于 直线 в 上 勒 贝 格 测度 的 情形 , 我 们 比较 详细 地 讨论 黎 曼 积分 和 勒 贝 格 积分 
之 间 的 关系 问题 . 

定理 10 HH g= g(x) А [| LARAK. 

а) 函数 g = g(z) 在 [а,Ь] RETH, 当 且 仅 当 它 (关于 Bla, b) 上 的 勒 贝 格 
入 测度 ) 几乎 处 处 连续 . 

b) 假如 函数 g = g(r) 在 [а,Ь] ЕЖ, 则 它 也 勒 贝 格 可 积 , НҢ. 


(R) ] (zjdz = (L) J обе) (аз). (60) 
证 明 а) 假设 函数 о = 9(1) RSE. 那么 , 由 (57) Ñ, 可 见 
(L) ] ауаз) = (L) ] "аа ав). 
因为 一 般 g(x) < glz) < 9(х), 所 以 由 性 质 H, 有 
g(x) = 9(1) = g(x) (Л-а.с.). (61) 


由 此 不 难 验证 , 函数 g = g(x) (关于 测度 X) 几乎 处 处 连续 
相反 , 假设 函数 9 = 9(z) (关于 测度 А) 几乎 处 处 连续 . 这 时 (61) 式 成 立 , 因此 
g(x) NE ASN) = 0 HREN 上 不 同 于 函数 g(x). 那么 
{x : g(x) < с} = {zx : g(x) < сүп. + {т : 9(2) < ерп 
= {z :9(2) <с} П-/ + {х: go < сүп. 
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ША, {2:9(2) < GNN є Blab), 而 由 于 {2 : от) < с}п. ÆN 的 子 

集 , 而 人 是 关于 勒 贝 格 测度 入 的 0 WR, KAN e Bila, b) 从而, 函数 9 = g(z) 
为 (а, b) 可 测 的 , 并 且 作 为 有 界 函 数 勒 贝 格 可 积 . 所 以 根据 性 质 G, 有 


b Ь Ь 
E) f rd) = (E) f аан) = (L) f gelda). 


于 是 , 命题 a) 得 证 . 
b) 如 果 函 数 g = g(x) НЯ, ШЕН а) 知 它 连续 (Л-а.с.). 由 定理 9 知 , 对 于 
连续 函数 , д = g(r) 也 勒 贝 格 可 积 , 并 且 歼 曼 积分 与 勒 贝 格 积分 相等 . Г] 


+1 BELa b) 上 的 某 一 勒 贝 格 - 斯 蒂 尔 切 斯 测度 . 对 于 子 集 A С а, Ы 
ЕЖ B lla, b), 存在 集合 А,В € Blja, b), 使 ACACB,n(B\A)=0. ря 
测度 u 2] Bla, bj) 上 的 开拓 (对 于 使 4 CA CB,n(B\A) = 0 Ё A,z(A) = jp(4)). 
那么 , 如 果 用 测度 п КИЖИ А, 而 相应 地 用 黎 曼 - 斯 蒂 尔 切 斯 积分 和 勒 贝 
格 - 斯 人 带 尔 切 斯 积分 , 分 别 代替 黎 曙 积分 和 勒 贝 格 积分 , 则 定理 仍然 成 立 . 

注 2 МИЛЯХ (RE 1 小 节 定 义 1 和 2, 以 及 公式 (3) 和 (6)) ВЕЉА 
ZE, 又 “纯粹 表面 地 ”区 别 于 黎 曼 和 和 歼 曼 - 斯 带 尔 切 斯 积分 , 而 后 两 种 积分 用 到 
上 、 下 积分 和 (М, (57) А). 

现在 较 详 细 地 比较 这 些 定义 . 

设 (О, р) 是 菏 一 带 测度 и 的 可 测 空 间 . 

对 于 每 一 #— 可 测 非 负 函 数 f = flw), 定义 两 个 (FAE) RI Lf A Lf 
GBH f, Раи 和 у Гар): 


L.f = sup. (д б) и(А,), 
Lf = агу ( зар Ло) (Ад) 


其 中 SUD 利 inf 对 空间 $2 的 一 切 9? 一 可 测 有 限 分 制 (A1, 42, n. ‚ Аһ), Аз, Аз, e. ‚Аһ 
是 Я — МЕН, (А, +A +A) =Q, nl. 

可 以 证 明 L.f < 1*^], 而 如 果 函 数 f 有 界 且 测度 и AR, ДГ. = L*f (练习 题 
20). | 

定义 函数 у 对 测度 р 的 积分 Lf 的 方法 之 一 ( 达 布 ~ H [J. С. Darboux-W. 
Н. Young]), 称 函 数 f 对 测度 р 是 可 积 的 , № Lf = ГГ 并 在 这 种 情况 下 记 作 

如 果 现 在 转 问 在 第 1 小 节 给 出 的 勒 贝 格 积分 Ef 的 定义 1, 则 可 以 看 到 (练习 题 
21) 

Ef = L,f. 
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FE, 可 以 认为 , 对 于 有 界 非 负 函 数 = f(w), 勒 贝 格 方法 和 达 布 — 扬 方法 导 
致 同 一 结果 (Ef = Lf = Г} = І). 

这 些 积 分 方法 的 差异 出 现在 如 下 情形 中 : 被 积 函 数 无 界 , 或 者 测度 /4 AFR. 

例如 , 按 勒 贝 格 积分 的 观点 , 相应 地 对 于 f(z) = z- И? 和 f(x) = 27210 оо), 


积分 
Дт dz 
1/2 和 y2 
(0,1] 2 (1,00) ® 


相等 , HET L,f. 然而 , L*f = оо. 

这 样 , Lef < ІУ, 说 明 所 考虑 的 函数 在 达 布 - 扬 意义 上 不 可 积 , 但 在 勒 贝 格 意 
义 上 可 积 . | 

在 所 阐述 的 、 运 用 下 积分 L,f 及 上 积分 L*f 方法 的 范围 内 , 我 们 转 同 黎 曼 意 义 
上 的 积分 法 . 

假设 О = (0,1, = 多, ( 博 雷 尔 c- КЮ пила в 
f= !(1), тео 是 某 一 有 界 函 数 (关于 其 可 测 性 暂时 不 作假 设 ). 

仿照 Lef Гу, 引进 下 黎 曼 积分 В, 和 上 黎 曼 积分 R*f, 设 


Raf — зир}, (л Мы} А(В;), 


一 з ( sup Мы) A(B;), 


其 中 (В,, B2,:… Bn) Æ = (01 HARSH, 而 В, 是 形 如 (a;b) 的 集合 (В, 与 
ІРЖІ 定义 中 А; WAR, A 是 任意 F- 可 测 集合 )， 
由 上 面 引 进 的 定义 , 显然 
Ref < Е < Г} < ЕУ. 


在 定理 9 和 10 中 引进 的 黎 曼 可 积 性 的 性 质 , 可 以 重新 表述 , 并 充实 下 列 条 件 : 
(а) R*f = Е, Е; 

(b) 函数 f 之 间断 点 集合 Dy 的 勒 贝 格 测度 等 于 0 : (Dy) = 0; 

(с) 存在 一 常数 R(f), 使 对 于 任意 < > 0, FE ô > 0, 使 得 


ROP) = 2 PODAC ai bil) < е 


且 对 于 两 两 不 相交 区 间 (а;, Ь;], У (ai, bi] = (0,1] 的 任何 有 限 族 , 有 Al (ai, bil) <ô wi е 
(ai, bi]. 

利用 定理 9 和 10 的 论证 , 可 以 证 明 (练习 题 22), 如 果 函 数 f 有 界 ， 则 

(А) 条 件 (a) (b) (c) 等 价 , 并 且 

(В) 在 (a),(b),(c) 中 的 任何 条 件 下 , 有 


R(f) = К, = В}. 
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12. HRE — 斯 蒂 尔 切 斯 积分 的 分 部 积分 法 ”在 这 一 小 节 , 我 们 引进 关于 9 
ПЖ - 斯 蒂 尔 切 斯 积分 中 分 部 积分 ”的 有 用 的 定理 . 

RE (В,.0(Е)) 上 有 两 个 广义 分 布 函数 F = F(x) ЯП С = G(x). 

定理 11 对 于 任意 实数 a 和 b,a < 六 如 下 分 部 积分 公式 成 立 : 


b b 
Е(6)С (5) — Е(а)С(а) = | F(s—)dG(s) +j G(s)dF (s), (62) 
或 等 价 地 ， 
F(b)G(b) – Е(а)С(а) 
ГЕ | (63) 
= J F(s—)dG(s) + | G(s—)dF(s)+ у, АЕР($)АС($), 
а а а<8<6 
其 中 
F(s—) = lim F(t), AF(s) = F(s) — Е($—). 
+1 符号 公式 (62) 可 以 写成 如 下 “微分 ”形式 : 
d(FG)= Е_аС + GdF. (64) 


注 2 ХТ ([0,5 上 的 ) 有 界 变 差 函 数 ЕМС, 定理 的 结论 仍然 成 立 . (每 一 个 
这 样 的 右 连续 且 有 左 极限 的 函数 , 可 以 表示 为 两 个 单调 不 减 函数 之 差 .) 


证 明 首先 回忆 , 根据 第 2 小 节 的 假设 , 将 |, 积分 理解 为 /，,. 因此 ( 见 $3 中 
公式 (2)): 
b b 
РО) — FGO) -Ga = | ағ() x f ас). 
由 此 根据 侍 比 尼 定 理 (F x G 是 对 应 于 F 和 G 的 测度 的 直 积 ) 可 见 
РФ) – FOCO —-б(ай= | da(PxG)(e 
(a,b} x (a,b] 


- J liszt) (8, (Е x G)(s,t) + ] ос (s, t)d(F х G)(s,t) 
(a,b] х (a,b] (а,5] х (a,b] 


= | (G(s) – (аар (в) + | IF) - Ес) 


(а,Ь ( ‚6 
Ь b 
= | G(s)aF(s)+ f Е(з—)46(в) — С(аЕ(®) — F(a) 


а 


-F (a)[G(b) — С(а)], (65) 


其 中 六 是 集合 4 的 示 性 函数 . 
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由 (65) 式 直 接 可 得 (62) 式 , 同样 , 由 (62) 式 得 (63) А, 为 此 只 需 注意 到 


b 
] (G(s) ~ G(s—)]dF (s) = у. AG(s)AF (s). (66) 


а<8<60 


Ж 1 w Fr) Я Ga) 是 分 布 函 数 , 则 
Е(х)С(х) = Г F(s—)dG(s) + f G(s)dFt{s). (67) 


如 果 分 布 函 数 | 
Е() = | еда» 


则 


Е(т)С(х) = Г Е()ас(в) + Г G(s)f(s)ds. (68) 
系 2 设 随机 变量 & 的 分 布 函数 为 F= F(x), НЕЕ" < оо. ЖА, 
f ачар (а) = п ] "1 Foldz (69) 
0 0 
0 OO 
/ |т|"аЕ(а) = "| х"1Р(-т)ат, (70) 
29 OO у OO 
п = g|”? т) = п Zn 一 LT 一 一 , 
Ek” = | аға) | 7L- Fle) + Р(-2)4 (71) 


为 证 明 (69) R, 注意 到 
Ь b 
] rndF(z) = — J "а — Е(2) 
Ь 
ЕР Е(Ь)|+п ] 7-1 — F(z)]dz. (72) 
0 


现在 , 在 БЕ" < о 的 条 件 下 , 证 明 ， 


b"{1 — F(b) — F(—b)] < БР > b} => 0,6 — оо. (73) 
事实 上 ， 
co pk 
ве" = 》 / ЫР (а) < oo 
大 一 1 一] 
因而 


k 
у, J [^а (z) — 0, 6 一 оо. 
—1 


kzb+1 


56. ” 勒 贝 格 积分 , 数学 期 望 ‚219. 


由 于 
` | | \т|"аЕ(т) > РЕ] > b} 
k>6+1" 8—1 б | 
пу А, (73) 式 成 立 . 
在 (72) 式 中 令 — оо 求 极限 , 得 欲 证 明 的 (69) 式 . 类 似 可 以 证 明 (70) =. 
由 (69) 和 (70) 式 得 公式 (71). 
13. БИТЕ А = A(t),t > 0 EHER, НАЕ НАН ЛЕ р 
数 ( 即 在 每 一 个 有 限 区 闻 [ай 上 有 有 和 界 变 差 ). 考虑 方程 


ДЕТ / Z,_dA(s), (74) 
其 微分 形式 为 
dZ: = Zi dA(t), Zo=1. (75) 
利用 上 一 小 节 证 明 的 分 部 积分 公式 , 可 以 (在 局 部 有 界 变 差 函 数 类 中 ) 求 出 方程 
(74) 之 解 的 明显 形式 . 


引进 函数 ( 称 做 随机 分 量 ; [87]): 


Si(A)=e (0 40 |] (1+ ДА(5))е 2209), (76) 
0О<5< 
其 中 A4(s) = 4(s) — А(з—),в > 0, Ш 4(0) = 0. 
函数 4(3),0<з<: 具有 有 和 界 变 差 ， 故 最 多 有 可 数 个 间断 点 ， 而 且 级 数 
2 0<s<t 1A(s)| ЖЕҢ. 由 此 可 见 函数 


[| (i+AA(s))e Ss), +20, 
O<s<t 


ERRARE A РА ЖК. 
如 果 记 


А°@) = А@) — У, A(s) 


О< 851 


为 函数 4A(t) 的 连续 分 量 , 则 (76) 式 可 以 改写 成 如 下 形式 : 
Gi(A)=e 0740) Т] (1+44(з)). (77) 


0<%8<} 


F(t) = ей (74 0060) = [| (1+ АА(з)), С(0) =1, 


0О<5</ 
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(А) = F(t)G(t) =1+ |  F(8)dG(s) + + | G(s—)dF(s) 
0 
=1+ У F(s)G(s—)AA(s) + | G(r s)dA°(s 


0535 


— + f #,-(4)йд). | 
0 


ТЖ, 8 (А) >20 是 方程 (74) 的 (局 部 有 界 ) Ж 
现在 证 明 , 此 解 在 局 部 有 界 类 中 唯一 . 
假设 有 两 个 局 部 有 界 解 : ПУ = Y(t),t 20 是 二 者 之 差 , 那么 


Y(t) = | Y(s_)dA(s). 
设 
T = inf{t > 0: Y (£) #0}, 


如 果 对 于 一 切 上 > 0,Y(t) = 0, 则 认为 了 = оо. 
由 于 4( 信 , 上 >0 是 局 部 有 界 变 差 函数 , 则 存在 两 个 广义 分 布 函数 A(t) 和 A(t), 
使 A(t) = A(t) — A(t). ER Т < оо, ЕН T >T, 使 


А1077) + A2(T")] — (4:07) + А>(Т)] < 5. 
那么 , 由 方程 | 
Y (t) = | Y (s—)dA(s), t > Т, 
T 
可 见 
sup |У (01 5 sup |Y (O)| 
ЕТ" ит. 


因为 зар, < т» [У(#]| < со, 所 以 对 于 工 <t < T',Y(t) = 0. 而 这 与 假设 矛盾 . 

FÆ, 证 明了 下 面 的 定理 . 

定理 12 在 局 部 有 界 函 数 类 中 , 方程 (74) 有 由 (76) 式 给 出 的 解 , 而且 是 唯一 
解 . 

14. 练习 题 

1. 证 明 (6) 式 . 

2. 证 明 性 质 E 的 如 下 推广 . 设 对 于 随机 变量 & 和 7 ЖЕН ЕЁ 和 En FE, 
Н Et + En 有 意义 (不 是 co - оо B -o + œ), 则 


Е(5 +n) = Eé + Ел. 
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3. 推广 性 质 С: ШЕН, WR E = т (ac), В. ЕЕ FE, W En EFE, 并 且 
Eg = Er. 
4. 假设 是 广义 随机 变量 , j о 有 限 测度 , В. / [44и < ос. 证 明 |El < оо 
(а. с.). (与 性 质 J ШЖ.) 
5. р E o- НИЯ, Е 和 7 是 广义 随机 变量 , Н [саи 和 [пар FE. 证 
Я, 如 果 对 于 一 切 АЕ, A | 
| к<] ndu 


则 E <n (и—а.с.). (与 性 质 工 比较 ). 
б. БЕЖ п 是 独立 非 负 随 机 变量 , 证 明 Etn = E£ x En. 
7. 利用 法 图 引 理 , 证 明 


P(iimAn) < limP(An), P(limAn) <ЇйпР(А„). 


8. 举例 说 明 , 控制 收 伊 定 理 的 条 件 “|é%| <n, En < оо” 一 般 不 能 减弱 . 
9. 举例 说 明 , 法 图 引 理 的 条 件 “t, < п, En > —со” 一般 不 能 去 掉 ， 
10. 证 明 法 图 引 理 的 如 下 变形 : 若 随机 变量 序列 {Etn 一 致 可 积 , 则 


limEé,, < Elimé,. 
11. 定义 在 [0,1] 上 的 狄 利克 雷 (P. G. L. Dirichlet) 函数 


402) = 1, т 是 无 理 数 ， 
o |0, 车 xz 是 有 理 数 ， 


勒 贝 格 可 积 , 但 是 黎 曼 不 可 积 . 为 什么 ? 

12. 举例 说 明 , 定义 在 [0,1] 上 生 黎 曼 可 积 的 函数 序列 {аА < 1, ВЭ 
勒 贝 格 测度 几乎 处 处 有 i 一 f, 但 是 f 歼 曼 不 可 积 . 

13. 设 {aiji j >1} 是 实数 序列 , Н. S; layl < оо. 由 傅 比 尼 定 理 导 出 


Уаз = >》 Р | =X (> 3 | (78) 
(i,j) i AJ j \: 
14. 举 一 数 列 {aji 之 1} 的 例子 , 1 У), |а| = оо 而 等 式 (78) 不 成 立 . 

15. 从 简单 函数 出 发 , 利用 在 积分 号 下 取 极 限 的 勒 贝 格 定理 , 证 明 , 关于 利用 换 
元 积分 法 的 如 下 结果 . 

А = h(x) 是 区 间 [а,6] 上 的 非 减 连续 可 微 函数 , 而 f(x) 在 [№(а), hO 上 的 
(关于 勒 贝 格 测度 ) 可 积 . 那么 , 函数 f(h(y))h'(y) 在 区 间 [а 上 可 积 , В. 


АЫ) b 
/ f(z)dz = ] Ку) (у). 
h(a) a 
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16. 证 明 (70) 式 . 

17. $ <, 21, &2,... 是 非 负 可 积 随机 变量 , 满足 Е, — Ес, 且 对 于 任意 = > 0, Ж 
Ж Р{|Е-&,| >=} 0. 证 明 Е, – El > 0,п — оо. | 

18. & & 是 可 积 随机 变量 (E|t| < оо). 证 明 , 对 于 任意 > 0, 存在 5 > 0, 使 对 
于 任何 4e Я,Р(А) < б, A ЕГА <e(“ 勒 贝 格 积 分 的 绝对 连续 性 ”). 

19. 设 对 于 随机 变量 E, n, С Е, т, Cn,n 之 1, A”) 


Р Р Р 
En — 6, Mn — N, (п — С, Mn < En $ Cn; П 2 1, 


Ес» — Ес̧, Ель, — En, 


НЯН Бе, En, Ес 有 限 . 证 明 普 拉 特 (Pratt) 引 理 : Бє, > Ес, 而 如 果 满 足 
m <0< <, ШЕЕ, – El — 0. 

由 此 证 明 , 如 果 én — E, ВЕ, | > Е {| Ж ЕЕ < оо, Е, – | — 0. 

举例 说 明 , 在 普 拉 特 引 理 的 条 件 下 , 一 般 Е, — El 50. 

20. 证 明 р. < L*f, ПЖ Г 有 界 , HWE и ER, 则 Lf = rf ( 见 第 
11 小 节 之 注 2). 

21. 证 明 , ХР АХ f, 数学 期 望 Ef = Lf (ЖЖ 11 小 节 之 注 2). 

22. 证 明 第 11 小 节 之 注 2 的 最 后 一 个 命题 . 

23. 设 F(x) 是 随机 变量 X 的 分 布 函数 . 证 明 


ғ) < оо, 对 于 某 个 а. 


EXT < хө | In 
24. 证 明 , 如 果 对 于 p > 0, 
lim тРР{|&| > xz} = 0, 


则 对 于 一 切 т <р, Б" < оо. 举例 说 明 , Ах =р 时 有 可 能 Elél? = оо. 
25. 举 一 密 度 f(z) 的 例子 , f(z) 是 偶 函 数 , ЖП ЗЕРИГЕ 


f rf ](х)ат = 0, К =1,3,... 
26. 举 一 随 机 变量 序列 „п > 1 的 例子 , 使 
Е) 7 ) Eén 


27. 设 对 于 随机 变量 X, 当 a > 1 时 , 有 
Р{|Х| > оп} 
Р{|Х| >n} 


9 收 化 en -了 ,6 称 做 依 概率 收敛 , 表示 对 于 任意 > 0, WEE P{len — El > e} > 0,n > oo. FN 
810. 


—> 0, n — со. 
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ШЕВ X MERE. 提示 : 利用 公式 : 


Ех!” = м [| т“ Р{|Х| > пах. 
0 
28. 设 对 于 随机 变量 X 以 概率 рь W К = 0,1,2,... ХИ. ЖЖ 
F(s) = > pks®, |s| < 1, 
k=0 


称 做 随机 变量 X М. 证 明 下 列 公式 : 
(1) # X 是 泊 松 随机 变量 , р, = e-^Ak/kl, 其 中 入 > 0,k = 0,1,2,…, 则 


F(s) = е-^Ч—),|в| < 1; 


(1) 者 随机 变量 X 有 几何 分 布 , 即 pe = ра", 其 中 0<p<1,g=1-p,k= 
0,1,2,---, ДД 
F(s) = т, 1s| < 1. 


29. 除 母 函数 F(s) АКЕН E Җ: М (3) = Ве (假设 s 使 Ees* < оо). 
(а) 证 明 , ВЕРХ М (3) 对 于 0 的 某 一 邻 域 的 一 切 s(s є [-а, а], а > 0) 有 和 定 
X, 则 当 s = 0 时 对 于 所 有 大 = 1,2,… , 导数 MOs) FE, ШВ 


мМ‘ (0) = ЕХ“ 


(这 一 性 质 决定 了 M(s) 的 名 称 ). 

(b) 举 一 随 机 变量 的 例子 , 对 于 一 切 s > 0, HERRA М (5) = со. 

(с) 证 明 , 对 于 一 切 s є В, 参数 入 > 0 的 泊 松 随机 变量 的 矩 母 函数 为 М($) = 
е-^@-е*). 

30. W O0 <r < oo,X EL, Xn РР, x. 证 明 下 列 条 件 等 价 : 

(i) ВАР ЕК {Xn n > 1} 一 致 可 积 ; 

(Gii) Ж L" 中 X, ~> X; 

Gii) Е|Х„|7 — EIXI < оо. 

31. МАЖ (Е. Spitzer) 恒等式 ， 设 Xi, X2,- 是 独立 同 分 布 随机 变量 序列 ， 
P{Xi S 1} = l; Sn = Xi ++ Xn, 则 对 于 |, lt <1, £ 


co со yn 
ПЕ “Ми __ L E(uSsY | 
2, е ехр > т (и о} 


其 中 Mn — max{0, А1, Ха, . ' ‚Хэй — max{u, Sn}. 
32. 设 So = 0,5, = Ху + ХХ +... + Хп > 1 是 简单 对 称 随 机 游 动 , 而 + = 
min{n > 0: Sn 20}. 证 明 | 


Emin(7, 2m) = 2Е|5,,,| = 4тР {Som = 0}, т È 0. 
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33. B Е 是 标准 正 态 随机 变量 : © ~ N(0,1). 利用 分 部 积分 法 证 明 Eg = (k 一 
1)Е&*—2, 并 由 此 导出 公式 .: 


EEI = 0 R EEF =1x3x...x(2k—3)(2k-1) (= (28 -1)!). 


34. 证 明 , 函数 zx-1sin z,z є R Жан, 但 是 按 (R, 8R) 上 的 勒 贝 格 测度 
不 可 积 . 
35. ЧЕНЯ РАЗ 


(шу, wa) 一 el“2 一 дет 29102, wi Є Qı = iL, со), ишә Є $22 一 (0, Н, 


关于 勒 幢 格 测度 ， 

(а) 对 于 每 一 个 w, 对 wi Є О, 可 积 ; 

(b) 对 于 每 一 个 w, 对 wa є Q 可 积 , 但 是 健 比 尼 定 理 不 成 立 . 

36. 证 明 菜 维 (Р. P. Lévy) 定理 : 设 随机 变量 &,6,... 可 积 (对 于 一 切 n > 
1,Е],| < оо),вир„ Её» < oo Н ¿n Т E, 则 随机 变量 НЯ, Н Б, 1 Её (对 照 定 理 1 
之 а)). 

37. 证 明 法 图 引 理 的 如 下 变 式 : 如 果 0 < & Е (Р-ас.), Н Её, <А < оо, M 
Е 可 积 , Н ЕЁ < А. 

38. ( 黎 要 积分 法 与 勒 贝 格 积 分 法 的 联系 .) 设 博 雷 尔 函数 f = f(z) 对 勒 贝 格 测 
度 可 积 : Л. 1 (=)|9= < оо. 证 明 对 于 任意 s 0, 存在 

(а) 具有 有 界 区 间 д; 的 阶梯 函数 


/@) = E flal) 使 人 Ha 一 天 las < 
i=l R 
(5) 具有 有 界 承 载 子 的 连续 可 积 函 数 g.(z), 使 
1709) -sajldz<e 
39. 证 明 , 如 果 е 是 可 积 随机 变量 , 则 
OO 0 
Её = / Р{& > x}dz -J P{é < Zidz. 

40. 证 明 , 如 果 上 和 是 可 积 随机 变量 , 则 

Ee-En=/ [Ptn<s<é}-P(é < £ < nd 


41. 设 Е 是 非 负 随机 变量 (Е > 0), 其 拉 普 拉 斯 变换 为 pe(A) = Бе, А Р 0. 
(а) 证 明 , 对 于 任意 0 <r<1, 


г Г — фе(А) 
EE = 一 一 一 一 一 
Г(1—т) [ Ar 十 ] dà. 


37. 关于 o- 代数 的 条 件 概率 和 条 件数 学 期 望 225. 


提示 对 于 s>00<<1 


1 И œ 1 етл 


(b) 证 明 , 如 果 《 > 0, 则 对 于 任意 > > 0, 
-r — 1 ~ l/r 
EE” = т / Ф&(А “dA, 
提示 对 于 s>0,7r>0， 


5 = Г - | ехр{ 一 (和 A/s) АА. 


67. KF o 一 代数 的 条 件 概率 和 条 件数 学 期 望 


1. 条 件数 学 期 望 和 条 件 概率 一 般 定义 的 必要 性 RQF, P) 是 概率 空间 , 而 
事件 АЕЯ 的 概率 P(A) > 0; 多 = {D1, D2,…} 是 空间 О 的 有 限 或 可 数 分 割 , 其 
中 P(D;) > 0,i1 21. 像 有 限 概率 空间 一 样 , 称 
Р(АВ) 

Р(А) 
为 事件 妃 关于 事件 4 的 条 件 概率 . 而 事件 BATIA 多 的 条 件 概 率 , WE PBZ) 
或 Р(В|27)(и), 定义 为 : 对 于 we Di,i > 1, 等 于 Р(В|О,) 的 随机 变量 


P(BID)(w) = у `Р(В|Ру)1р, (а). 


1221 


Р(В|А) = 


类 似 地 , WR & 是 随机 变量 , 假设 其 数学 期 望 BE FE, 则 上 关于 事件 А(Р(А) > 
0) 的 条 件数 学 期 望 定义 为 


ВА) = кг 


(对 照 第 一 章 38 的 (10) 式 ). 

随机 变量 Р(В|@) 显然 关于 o- 代数 多 = 0(97) 可 测 , 因此 P(BI 多 ) FRE 
P(B 058—2 58). 

在 概率 论 中 往往 有 必要 考虑 关于 零 概 率 事件 的 条 件 概 率 . 

例如 , 考虑 如 下 试验 . Бе 是 在 [0,1] 上 均匀 分 布 的 随机 变量 . 如 果 с = х ШЖ 
一 次 便 币 :正面 出 现 的 概率 为 x, 反面 出 现 的 概率 为 1-z. и ЖЕНИЯ ОЖ 
п, 正面 出 现 的 次 数 . Н “ЖЖ Р{у = КЕ = z} 如 何 ?” 尽管 直观 上 清楚 “这 
一 概率 似乎 应 该 等 于 Ctxt(1 — г)", 然而, 由 于 当 P{E = т} = 0 时 , 我 们 所 关心 
的 “条 件 概率 P{v = klt = rP 暂时 没有 定义 . 

下 面 将 给 出 关于 o- 代数 多 ,多 с ,条 件数 学 期 望 (其 中 包括 条 件 概 率 ) 的 一 
般 定义 , 并 且 与 第 一 章 88 对 于 有 限 概率 空间 的 相应 定义 作 比 较 . 
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2. 条 件数 学 期 望 和 条 件 概率 的 一 般 定义 ” 设 (О, Р) ЖЖ # 是 о 
Юа, CIG ES RTF с 代数 ), m E= Elw) 是 随机 变量 . 回忆 在 86 中 分 两 
个 阶段 引进 了 数学 期 望 Et 的 定义 : 首先 对 非 负 随机 变量 Е, 然后 对 一 般 随机 变量 4, 
并 利用 等 式 

Её = EEY — Eé 
其 中 (为 避免 形 如 оо — оо 的 不 定式 ) 仅 假 设 
min{ ЕТ, EET} < оо. 


在 定义 条 件数 学 期 望 EES) 时 , 也 采用 类 似 的 两 阶段 构造 过 程 . 

定义 1 1) 非 负 随机 变量 6 关于 o- 代数 多 的 条 件数 学 期 望 , 定义 为 非 负 (Г 
义 ) 随机 变量 : EEZ) 或 Е(& 3) (о), ШЖ 

а) Е( |87) А ?- 可 测 ; 

b) 对 于 任意 A ec 多 , 有 


J ар = в (EIF )ар. (1) 


2) 假设 任意 随机 变量 хто 代数 А ЕЕ) EEF w) 
有 定义 , ШЕ Рас. 
min{E(E" |9), Е |F) < оо, 
并 且 通 过 如 下 公式 表示 
Е (197) = Е(&+|#) — E(P), | 
ВЖЕ Е (+9) =Е(& |?) = о 的 一 切 基本 事件 的 ( 零 概率 ) ЖА Е 任意 规定 差 
Е (|9) – Е(& |2), 例如 令 其 等 于 0. 
首先 证 明 , 对 于 非 负 随机 变量 EEES) 确实 存在 . 根据 86 第 8 小 节 , ЖЖ 
(4) = | вар, AEF (2) 
А 


是 在 (0,37) 上 关于 测度 Р 绝对 连续 的 测度 , 其 中 Р 是 在 (0, 多 ), 多 с? 上 的 测度 
因此 (根据 拉 东 - 尼 科 迪 姆 定理 ) 存在 这 样 的 一 个 S- 可 测 广义 随机 变量 EEP), 
使 

QA) = | Pdg)dP， (3) 


Е (2) 和 (3) 48 (1) =. 
注 1 根据 拉 东 - 尼 科 迪 姆 定理 , 条 件数 学 期 望 E(e| 多 ) 仅 精 确 到 Р_ 零 测 集 
唯一 . 换 句 话说 , 作为 EES (и) 可 以 取 任 何 #— 可 测 函 数 f(w), 其 中 f(w) 满足 


= ] Кар, А є Ӯ, 
А 
а ETETA 
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还 应 指出 , 根据 对 拉 东 - 尼 科 过 姆 定理 的 注释 ， 
BEF) = Rio), (4) 


即 条 件数 学 期 望 是 测度 Q 对 测度 卫 的 拉 东 一 尼 科 迪 姆 导数 , 其 中 测度 Q 和 测度 
Р 都 是 空间 (90) 上 的 测度 . 

有 益 地 指出 , 由 (1) 式 可 见 , 如 果 对 于 非 负 随机 变量 EEE < оо, ДІ EES) < со 
(Р—а.с.). 类 似 地 , 如 果 E 乏 0,EBE > -oo, M EES) > —оо (Р--а.с.). 

+2 关于 (1) 需要 指出 , МЛЯ EES) = Е 因为 随机 变量 上 未 必 多 一 
可 测 . | 

+З 假设 对 于 随机 变量 сё FE, 则 EES) 也 许可 以 定义 为 使 (1) АЖ 
立 的 #— 可 测 函 数 . 通常 正 是 这 样 做 的 . 我们 引进 的 定义 EES) = ЕЕ?) – 
Е(& |9”) 其 有 如 下 优点 : ТЕ 是 平凡 o- 代数 的 情形 下 , 即 在 ® = (2,0) 的 情形 下 ， 
Е) = Е&, 这 时 并 不 假定 Et 存在 . (例如 , 对 于 随机 变量 с, 假如 Ес = оо, EE = 
со, Я = F, Ш ЕЕ 没有 定义 , 但 是 在 按 定义 1 EES) FE, ЗЕН 上 = 6+ E.) 

жа 假设 条 件数 学 期 望 EES) НЕХ. 随机 变量 


0(49) = {Е - E(tS) } 


称 做 随机 变量 上 关于 ac- 代数 多 的 条 件 方差 . (与 第 一 章 88 练习 题 2 р 5) Ж 
于 ® 的 定义 , 以及 88 中 方差 的 定义 比较 .) 

定义 2 BES. НЗ Е (1,2) WE PBIZ) 或 P(BI 多 )(w), 并 
且 称 做 事件 В 关于 o- RRFC) 的 条 件 概率 . 

由 定义 1 和 2, 对 于 每 一 个 固定 的 Ве, 条件 概率 P(BI8) 是 一 随机 变量 , 满 
Æ: 

а) Р(В|#) 为 多- 可 测 ; 

b) 对 于 任意 AEF, 


Р(АПВ) = | P(BIS)dP. (5) 


定义 3 БЕБИР, 9, 是 某 随机 元 素 n 诱导 的 o- 代数 .那么 , 如果 
EEF n) HEX, 则 记 作 Eltin) 或 EEn), В Е 关于 п 的 条 件数 学 期 望 . 
_ ”条件 概率 Р(ВУ,), WE Р(В|л) 或 P(BIn)(w), 称 做 事件 В 关于 n 的 条 件 概 
№. 

3. 关于 分 割 和 关于 o- 代数 的 条 件数 学 期 望 的 关系 ”现在 证 明 , 这 里 给 出 的 
EEF) 的 定义 与 第 一 章 88 中 条 件数 学 期 望 的 定义 一 致 

设 多 = {р\,р»,...} 是 以 DE; р, = О) 为 原子 的 有 限 或 可 数 分 割 ， 其 中 
Р(Р;) > 0,1 > 1. 
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定理 1 WES =oD), 而 上 是 随机 变量 , 且 其 数学 期 望 EE 有 定义 , 则 
Е(&| ) = E(tDi), (Æ D; ЕР - a.c.) (6) 
* І 
EES) = 27, (Ар, ЕР-ас) 
(ЖФ “E= n (E A E Pac) R “© = п (A; Pac)” ж Р(Ап{ АТ) = 0) 
证 明 根据 54 引 理 3, 在 Di EEES) = K; 其 中 K 是 常数 . 由 


J сар - | Е(4[:2)арР = KiP(D;), 
р; р; 


可 见 


500) /, gdP = Р = ВР). = 


于 是 , 第 一 章 引 进 的 、 ETAN P = {D1, Dz,- } WRR EES) 的 
概念 , 是 关于 o 一 代数 —о(@) 的 条 件数 学 期 望 概念 的 特殊 情形 . 

4. 条 件数 学 期 望 的 性 质 假设 下 面 所 考虑 的 随机 变量 En 的 条 件数 学 期 望都 
FE, Ш o 一 RFCS., 

А CARK, 而 上 = (a.c), М EEF) = С (а.с.). 

В*. Æ E <n (а.с.),  Е( 9) < ES ) (а.с.). 

С*. [Е (&|9°)| < Е(|4 ||) (а. с.). 

D*. ж a,b 为 常数 , Н аЕЁ + ЬЕ 存在 , 则 


Е(аё + м) = aE?) + БЕ(1|8) (а.с.). 
Е*. № F, = {2,0} 是 平凡 o 一 代数 ， 则 
Е(&|.% „) = E£ (а.с.). 


Е*. Е(&|.%) = £ (а.с.). 
С*. Е Е(&)] = E£. 
Н. Я.С. 则 有 (第 一 )“ 望 远 性 ”: 


EEES AF 1] = Е(& 71) (а.с.). 
Г. EFD Fa, WA (R) “ВА”: 
Е[Е(&|#)| 1] = EES 2) (а.с.). 


б. ЖМА Е 的 数学 期 望 ЕС 存在, НЫ о RAF ХХ ( 即 不 依赖 于 
Ig, BES), 则 
Е(&| ) = Её (а.с.). 
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‚ KÆ nÆ- 可 测 随 机 变量 , Е {| < o0,Elén| < оо, № 
EEN) = ПЕ(& Я) ) (а.с.). 


数学 期 望 性 质 的 证 明 
a*. 等 于 常数 的 函数 关于 F 可 测 , 因此 只 需 验 证 等 式 ® ; 


J sP = | Сар, ле. 
А А 


由 于 假设 上 =C (а.с.), 则 由 8$6 第 3 小 节 的 性 质 G, 知 上 面 的 等 式 显然 . 
Ь*. #6 < 0 (а.с.), 则 由 86 第 3 小节 的 性 质 В, 有 


| ва < | map,Aey, 
А А 


从 而 , 有 
J EEP < | EPP, A EF. 
А А 


Тж, 由 86 第 3 小 节 的 性 质 工 得 所 要 求 的 不 等 式 . 
с". 者 考虑 到 明显 的 不 等 式 |е <Е < |), 则 由 B* 可 得 所 要 求 的 不 等 式 . 
d*. 者 集合 Ас’, ДН 56 第 14 小 节 的 练习 题 2, 有 


| (a£ + bmdP = J. аар + [А bndP = | аЕ(&|?)аР + J, DE(nF )аР 


= | 108019) +Е(119 ЈР. 


于 是 性 质 D* 得 证 . 
е“. 该 性 质 可 以 由 下 列 性 质 得 出 : 第 一 , Et 是 9, МЕЖ; В Ш АО 


或 4= ø, 则 显然 
dP = | ЕР. 
Јар = | ваа 
f*. НРЕЛЯ- пр, E 
f cdP = ] Е( JAP, A E F. 
А А 


则 EEI) = £ (а.с.). 
g ИЖ У, = (2,9), 9. = F, 则 性 质 G* 可 以 由 性 质 E 和 H* 得 出 . 
h АЕ, 则 
I EEF )аР = J сар. 
А А 


ОЛУУ a* ~ к" 下 相应 为 命题 A* ~ K 的 证 明 . 一 一 译 者 
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因为 多 1! С %., 则 4<e 多 ,因此 
| 81093) МР = | вер = /cap 
А А А 
Am, 对 于 Ає®,, 有 
| EEF yaP = | ВЕЕР ЦАР. 
А А 
仿照 86 第 3 小 节 的 性 质 1 (ЭКЕЛ, 56 的 练习 题 5), 可 得 
Е(&|#,) = EEES |F] (а.с.). 
i*. 设 4 e 多 1, 则 根据 EEES)? 的 定义 
| 81806195) ивр = | ЕР. 
А А 


因为 函数 E(E| 史 2) HF- 可 测 , 并 且 由 于 Я, C 多 1, ДЈ EES) 也 多 1 一 可 测 . 可 
_ ЛЕС) 是 条 件数 学 期 望 EI[E(E| 多 ,)| 多 1| 的 变 式 之 一 . FE, 性 质 得 证 . 
j 由 于 EEAS- УЖ, 故 只 需 验 证 对 于 任意 Be 多, 有 


J&P = 人 peap 


8] Е(&1ь) = Её x Els. 如 果 Е{| < оо, 则 这 由 56 的 定理 6 立刻 得 到 . 对 于 一 般 情 
形 , 不 是 用 86 的 定理 6, 而 是 利用 86 的 练习 题 6 证 明 上 面 的 积分 等 式 . 

k*. 为 证 明 性 质 K*, 需要 利用 下 面 定理 2 的 命题 a), 因此 下 面 再 证 明 ( 见 232 
页 ). 

定理 2 (数学 期 望 符 号 下 的 收敛 性 ) {Е 是 (广义 ) 随机 变量 序列 . 

а) Æ |4. < n, En < œ H £n — (в.с.), № 


E( [и ~ Ell ) — 0 (а.с.). 
b) Æ & 2 7, En > —оо Е &„ 1 £ (а.с.), Я] 

Е(& Я) ТЕ(& Я”) (а.с.). 
с) Æ En <N, En < осоо В &, | (в.с.), Ж 


Eén) | EEIZ) (а.с.). 


бт. Фо 代数 的 条 件 概率 和 条 件数 学 期 望 ‚231. 


а) Æ En 2 п, En > —оо, №) 

Е (Шт, |F) < ШаЕ(&, |F) (а.с.). 
е) № En < т, En < оо, Ж 

НтЕ(&„ |) < Ellimén |8) (а..с.). 
f) Æ & 20, R) 

(У) = у EIF) (а.е). 


证 明 а) 9 


С» = Sup [Em ш En]. 
mzn 


由 于 6, — © (ac), 可见 10 (ac) ЖА ЕЕ, М Et 有 限 , 由 于 性 质 D* 和 
С* (а.с.), 


Е (7) — EES) = |Е(&„ ~ & 9) < Е(|&„ – &| Я) < Eh) F). 
由 于 Eny) < Е(С.|) (а.с.), 则 存在 极限 h = Ши, EGIS) (а.с.). ЖА, 
0 < f hap < | Big)aP = | сар —0 n — оо, 


其 中 由 于 0 < С, < 20, En < оо, 可 见 最 后 的 结果 可 以 由 控制 收敛 定理 得 出 . 从 而 ， 


[вар = 0. 
Q 


НН $6 第 3 小 节 的 性 质 Н, 知 h= 0 (а.с.). 
Ь) 设 7 = 0. 由 于 Е (2,9) < Е (41|) (а.с.), 则 存在 极限 C(w) 一 
limn Е(&, |9?) (а.с.). 那么 , HER 


f cdP = ] (ар, AEF, 
А А 
和 控制 收敛 定理 , 有 
| «ав = f EEP = f сар, АЕ. 


从 而 , 根据 与 86 第 3 小 节 的 性 质 工 类 似 的 性 质 和 $6 的 练习 题 5, 可 见 < =С (ac). 
为 证 明 一 般 情形 , 注意 到 , 0 < Е Тт, 且 根 据 已 经 证 明 的 


Е (6, |8) ТЕ(Е |?) (а.с.). (7) 


НҒ 0< 45 <ET, EE < оо, АЕН а) Я] №, 
Е (=, |?) > Е(-|9), 
于 是 , 由 此 连同 (т) 式 , 命题 b) 得 证 . 
H b) 得 命题 c). 
d) & б» = >п Em, 则 Сл, 1 С, 其 中 Ç = 一 Amem. 根据 b), E(Cn |) 1 Е (С) 
(а.с.). 因此 


Ее, |P) = ECIS) = lim ЕС, |37) = mE (|F) < ШаЕ(&|#) (ac) 


由 а) 得 命题 e). 
f) ЖЖ én > 0, 则 由 命题 D*, 可 见 


Е (Sale) = У Е(&9) (ас.), 
k=1 k=l 


由 此 连同 b) 即 可 证 明 所 要 求 的 结果 . 口 
现在 证 明 命 顾 К°. Хл=1в, ВЕ. ЖА, 对 于 任意 АЕ 有 


few- Сар = J Е(&|Ф#)аР = | BEERA = f эв(еВРар- 
由 于 勒 贝 格 积分 的 可 加 性 , 等 式 


] EndP = | пЕ( ар, Ас, (8) 
对 于 简单 随机 变 重 | 
п= 》 ук1в,,ВЕЄ#, 
仍然 成 立 所 以 由 86 第 3 小 节 的 性 质 工 对 于 简单 随机 变量 , 有 
EENS) > EEF) (ас). (9) 


现在 假设 7 是 任意 #— 可 测 随机 变量 , Ш {m} 是 #— 可 测 简单 随机 变量 
序列 , В || < 91,7 一 п. ЖА, 由 (9) 式 , 可 见 


Е (2119) = MEEF) (а.с.). 
显然 Em) < ||, 其 中 Jên) < оо. 因此 , 根据 定理 2 的 命题 a)， 


其 次 , 因为 Е < со, № EES) ER (а.с.) (Ж Ж C*,86 第 3 小 节 的 性 质 J). 于 
是 MEEF) 一 тЕ(&|#?) (а.с.). (关于 EEG) 几乎 必然 有 限 的 假设 是 重要 的 , 因为 
在 $4 第 4 小 节 曾 约定 : 0 x oo = 0, {НЕШ т, = 1/п, п = 0 就 会 出 现 (1/n) х оо Ж 
ан Ох oo = 0 的 情形 ). 
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+ “如 果 仅 满足 条 件 : ИЯ 多 -可 测 , Н ЕЕ) хх, Шт К" 仍然 成 立 . 

5. ЖЕРИН ECS, ) 的 结构 ”现在 比较 详细 地 讨论 条 件数 学 期 望 EES n) 
的 结构 , 其 中 上 耐 曾 约定 EES) 也 通过 EEn) 表示. 

由 于 Е( |р) 是 #— 可 测 函 数 , 根据 54 的 定理 3( 比 较 确切 地 说 , 该 定理 对 于 广 
义 随机 变量 明显 的 变 式 ), 存在 定义 在 В ERAF R 的 博 雷 尔 函 数 т = m(z), 使 对 
于 一 切 weEgQ, 有 

m(n(w)) = Е(&|])(ш). (10) 

我 们 用 Е(&| = у) 表示 函数 m(y), 并 称 做 & 关于 事件 {n = у} 的 条 件数 学 期 望 , 或 
СЖ т=у 条件 下 的 条 件数 学 期 望 , 


根据 定义 | 
/ сар = f Е(ЕпаР = ] m(n)dP, АЕ. (11) 
А А А 
因此 , 根据 66 (关于 勒 贝 格 积分 变量 替换 ) 的 定理 7 有 
f m(n)dP = ] m(y)P,(dy), В є BR). (12) 
{w:nEB} B 


其 中 Р, E 1) 的 概率 分 布 . 从 而 m = m(y) 是 博 雷 尔 函 数 , 且 对 于 一 切 B ELR), 有 


f P= | тура. = (13) 
{w:nEB} B 


这 说 明 可 以 经 另 一 途径 定义 条 件数 学 期 望 BE = y) 
定义 4 BER n 是 随机 变量 (也 可 能 是 广义 的 ), 且 存 在 BE 我 们 称 任何 满 


J ¿dP = ] п(у)Р, (ву), В € 8), (14) 
{те В} В 


的 多 ( 民 ) 一 可 测 函 数 m = m(z), 为 随机 变量 在 7 =3 条 件 下 的 条 件数 学 期 望 
如 果 注 意 到 集 函 数 
Q(B) = / dP 
{w:nEB} 


是 带 符号 的 测度 , 并 且 关 于 测度 已 绝对 连续 , 则 仍然 由 拉 东 一 尼 科 迪 姆 定理 可 见 
РЖ т = т(х) FE. 

现在 假设 my) 是 按 定义 4 的 条 件数 学 期 望 . 那么 , 仍 利用 关于 勒 贝 格 积 分 变量 
НЕ, 可 得 


| &Р= | тараи) = [| тар, ве 8R). 
{w:nEB} B {w:nEB} 


函数 m(n) 为 Fra- 可 测 , ARE {w :7 E В},В є .多 (区) 包含 多 ,中 所 有 集合 
由 此 可 见 , тт) ЖЗ ЕЕ). 于是, 由 Ел = у) 可 以 得 到 Elt); Ж 
肥 , 由 E(éIm) 可 以 得 到 Eltin = y). 
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直观 上 , 条 件数 学 期 望 my) = Е(Еп = у) 是 比 Е(Ет) 更 简单 明了 的 对 象 . 不 
过 , 条 件数 学 期 望 Elin) 作为 #„— 可 测 随机 变量 更 便于 使 用 . 

应 该 指出 , 前 面 引进 的 性 质 A* ~ K*, 以 及 定理 2 论断 , 容易 移植 到 条 件数 学 期 
望 Е(& = (АК, 只 需 将 “几乎 必然 ” 换 成 “已 - 几乎 必然 ”). 例如 , 性 质 К" 可 
以 转述 为 : 如 果 , Elé] < оо, ЕЕ (0) < со, 其 中 f= f(y) 是 DR- 可 测 函 数 , 则 


Е(ЕЛ(п)т = 0) = FEE] = у)(Рь — а.с.). (15) 
其 次 (对 照 性 质 1%), Е Мл 独立 , 则 
Е(Ет = у) = EE (Р„—ас.). 
还 要 指出 , WR BER?) Н 上 和 7 独立 , 则 
Ells(é,n)|n = У] = ЕТв(&, у) (已 一 ac (16) 
MR ф = р(т,у) 是 (В?) - 可 测 函数 , 使 Ely, п)| < оо, 则 
Е (5, п) = У] = Ep(é,n) (Ph — ac.). 


为 证 明 (16) R, 我 们 指出 以 下 事实 . 假如 В = В, x В». 则 为 证 明 (16) R, АЖ 
验证 : | 
/ Тв, xB nP (dw) - | ЕГ в, в, (E, y)P„ (Чу). ош. 
temea) {ує А} 


等 式 左 侧 是 Р{Е є Bin € AN B2}, Е Р( є В, }Р{1 € Ап B2}, 而 由 于 上 < 和 7 
独立 , 可 见 左 、 右 两 侧 概 率 相等 . 一 般 情 形 的 证 明 , 要 运用 $2 中 关于 单调 类 的 定理 
1 (对 照 傅 比 尼 定 理 证 明 中 的 相应 方法 ). 

定义 5 在 m=y 的 条 件 下 , Elan = у) 称 做 事件 АЕЯ 的 条 件 概 率 , 记 作 
Р(Ат = у). 

显然 , Р(А| = у) 也 可 以 定义 为 满足 


P(AN{neB) = | P(An=WP(dy), B ESR), (17) 


的 可 测 函 数 . 
6. 计算 条 件 概 率 和 条 件数 学 期 望 的 例 
例 1 En 是 离散 型 随机 变量 : 


Р{ = ук} > 0, >_P{n = ук} = 1. 
k= 


МАТ) By) | 
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对 于 y {uny }, 条件 概率 P(A = y) 可 以 任意 地 定义 , 例如 , 令 其 等 于 0. 
假设 随机 变量 的 数学 期 望 ЕЕ 存在 , 则 


1 
= — dP 
ЕС!" 2 Р {7 一 ук} р 5 


对 于 y {и у, ... }, 条 件数 学 期 望 E(tjn = у) 可 以 任意 地 定义 , 例如 , 令 其 等 于 о. 
例 2 (En) 是 随机 向 量 , 其 分 布 具 有 密度 р (т, у): 


P{(€,n) є B} = ] Жеол(ж,у)дтйу, Ве. (В?) 


& (т) 和 у, (у) 是 随机 变量 上 和 7 的 概率 分 布 密度 ( 见 86 (46),(55),(56)). 记 
| ЈЕ п(2, у) 


Је (10) — Fol) ; (18) 
其 中 , 如 果 /„(у) = 0, W уа, (ау) = 0. 
那么 ， | 
Р{ € Cin = y} = J Ја (zly)dz, C € .多 (有 )， (19) 
即 fen (ely) 是 条 件 概率 分 布 密度 


事实 上 , 为 证 明 (19) 式 , 只 需 对 于 Ве.) А = {ЕЕ С}, 证 明 (17) 式 . 由 86 
的 (43) 式 和 (45) 式 以 及 健 比 尼 定 理 , 可 见 


J p Танаа) Pl (Чу) = J | J лы feln(Tly)d | (y)dy 


= | Хн ау = | Лоза 
= P{(é,n) € C x B} =Р({ЕЕ С}п {n € BY), 


于 是 (17) AHE, 
如 果 ЕС FE, 则 类 似 可 得 


EB(éln = у) = / теат). (20) 


例 3 假设 某 设备 工作 的 时 间 是 一 非 负 随机 变量 7 = w), 其 分 布 函 数 F,(y) 
有 密度 f(y)( 对 于 у<о, 自然 (у) = (у) = 0). 求 条 件数 学 期 望 Eln – aln > a), 
即 在 设备 已 经 工作 了 时 间 о 的 条 件 下 , 它 还 能 再 继续 工作 的 平均 时 间 . 

W P{n >а} > 0. ЖА, 根据 定义 ( 见 第 1 小 节 ) 和 86 的 (45) 式 , Нм, 
El(n — а) Ца} 

P{n >а} 

Jal’ — а) {па} Р (4%) o S (у — а) fn (y)dy 
К P{n>a} Ду ` 


Е(7 – aln > a) = 
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有 趣 的 是 , 如 果 随 机 变量 n 服从 指数 分 布 , БР 


| àe, журо, 
Ру) — В фе y <0, (21) 
则 En = Е(9 7 > 0) = 1/А, 且 对 于 任意 a > 0, Efn – ајр > а) = 1/А. 换 句 话说 , 在 
设备 已 经 工作 了 时 间 а 的 条 件 下 , 它 还 能 再 继续 工作 的 平均 时 间 , 与 а 的 值 无 关 , 就 
等 于 En. 

在 (21) 式 的 条 件 下 , 求 条 件 分 布 P(n -a < rln >а). 有 


Dn 一 р!» = 
P(n -a < zi >a) = Р@ 51 <а+1} _ Potz)— Fy(0) + Р{п = а} 


P{n 2a} 1 — Ри(а) + P{n =a} 
СЫ ета ете. 
1 — [1 –е-^&] ет Аа | 


于 是 , 条 件 分 布 P(n 一 a < r > а) 等 于 无 条 件 分 布 P{n < с). 指数 分 布 这 一 特别 
好 的 性 质 是 特有 的 : 不 存在 其 他 分 布 , 使 其 密度 具有 同样 性 质 P(n 一 a < rh >а) = 
P{n<z}a 2 0,0 < хт < оо. 

Я 4 (ЖЕ [С. de Buffon] 掷 针 问题 ) 假设 向 平面 上 一 无 限 长 和 单位 宽 的 “ 走 
廊 ”( 两 条 直线 所 夹 的 区 域 ) 上 (Е 29), “随机 ”地 投掷 一 单位 长 度 的 针 . 问 针 (至 少 ) 
与 “走廊 ”的 一 侧 相 交 的 概率 如 何 ? 

为 解决 所 提 (几何 概率 的 ) 问题 , 首先 说 清 何 谓 “随机 ”地 投掷 一 单位 长 度 的 针 . 
以 上 表示 针 落 地 后 其 中 点 到 “走廊 ” 左 侧 的 距离 . 假设 在 区 间 [0,1] 上 均匀 分 布 , 而 
Ж ӨТЕ [-п/2,т/2] 上 均匀 (Рь(Ча) = да) 分 布 (图 29). 此 外 , 假设 和 Ө 独立 . 


> 


图 29 
设 4 是 表示 事件 针 与 “走廊 ”的 某 一 侧 相交 . ВМ, 如 果 
В = (62) : |a| < pT Е 0,2004] U [ — 5 сова, 1 l 
则 A= {w : (8,£) є В} 因而 所 求 概 率 为 


P(A) = Ela(w) = ЕЇв(@(ш), &(ш)). 
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由 于 性 质 G* 和 (16) 式 , 有 
Elp(0(w),€(w)) = ЕТЕ(Тв(0(ш), &(ш))|Ө(ш)))] 
= | Ев O), EP dw) 
T /2 
- f p EHBO), (ед) = 可 Ptda) 


1 х/2 1 п/2 2 
— | Ев (а, (и) }4а = | cos ааа = 一 ， 
—п/2 Л -x/2 Ш 


т 


其 中 用 到 
Е1в(а,&(и)) = Р fe Є 0,5 cos a U [ — = сов а, |} = COS а. 


这 样 “ 随 机 地 ”加 “走廊 ”中 投掷 的 针 落 地 后 , 至 少 与 “走廊 ”的 一 侧 相交 的 概率 等 
于 2/r. 这 一 结果 , 可 以 作为 通过 试验 确定 т 值 的 基础 . 实际 上 , 假设 将 针 独 立地 掷 
次 , 并 定义 随机 变量 : 


车 第 ;次 掷 针 与 走廊 侧 边 相交 ， 
о, 车 第 ;次 搓 针 与 走廊 侧 边 不 交 . 


ЖА, 由 大 数 定律 (例如 , 见 第 一 章 85 (6) R), 可 见 对 于 任意 = > 0, 


й 


在 此 意义 上 , 频率 


MEEI O P(A) >=} э, № 一 оо. 


于 是 
2N 


Ям 

正 是 这 一 公式 曾经 是 用 统计 方法 确定 т 值 的 基础 . 在 1850 年 В. ЖЖ (В. 
Wolf) REF 5000 次 , 结果 得 的 值 3.1596. ЖЖ, 这 种 方法 , 是 在 数值 分 析 中 利用 概率 
统计 方法 最 早 的 用 法 之 一 , 也 就 是 现代 熟知 的 “蒙特 卡 罗 法 ” 

注 所 讨论 的 例 4 (ТЕЕ ЕГИ) 是 几何 概率 的 典型 问题 . 在 这 类 问题 中 , 相 
当 常 见 的 是 , 由 诸如 “对 称 性 ”之 类 的 简单 几何 直观 , 可 见 如 何 确 定 “ 一 组 基本 事件 ” 
的 概率 . (对 照 第 一 章 81 第 3 和 4 小 节 , 以 及 这 一 章 的 83.) 下 面 练习 题 的 第 9~12 题 
是 几何 概率 的 题 . 

7. 条件 概率 的 正则 性 ” 设 {&һ}„>: 是 非 负 随机 变量 序列 , 则 可 见 定理 2 的 命题 
Р), 
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特别 , 者 Bi, Во,... 是 两 两 不 相交 的 集合 , 则 
Р (УУ в.) =Ў`Р(В„|#) (а.с.). _ (22) 


重要 的 是 强调 这 一 等 式 只 是 几乎 必然 成 立 . 因而 , 对 于 固定 的 w 不 能 将 条 件 概 
Ж P(B u) 看 成 B 的 测度 . 也 许 除去 一 个 零 测 集 N 之 后 , 就 可 以 对 于 每 一 个 
wE N, WEE PUFO) 是 概率 测度 . 然而 , 一 般 并 非 如 此 , 看 下 面 的 例子 . 对 于 给 定 
的 Вл, B2,…, 以 S (B1, Во,...) 表示 不 满足 可 数 可 加 性 (22) 式 的 结局 w 的 集合 . 
ЖА, 特殊 集合 N A: 

N = UN (B1, Во,...), (23) 

其 中 对 F 中 一 切 两 两 不 相交 的 集合 Bj, Во,... 求 并 . 虽然 每 一 个 集合 的 P- 测度 
等 于 0, 然而 集合 N 的 P- 测度 可 能 不 等 于 0 (因为 (23) 式 的 并 含 不 可 数 项 ). 例 
如 , 个 别 后 的 勒 贝 格 测度 为 0, 而 集合 .Y = [0,1) 的 测度 等 于 1, AAS = [0,1) 是 
单 点 集 {xz},0 < zx < 1, 的 不 可 数 的 和 . 

假如 对 于 每 一 个 we О, 当 条 件 概率 PUF) 是 概率 测度 时 , 将 更 为 方便 . 例 
如 , 因为 这 时 计算 条 件数 学 期 望 EES o), 可 以 利用 对 测度 PUUS) REH 


EES) = | EPAF) (ас) 


简单 地 实现 (对 照 第 一 章 88 (10) I). 

现在 引进 正则 条 件 概 率 的 概念 . 

定义 6 对 于 一 切 we 0,B < FZ, 定义 的 函数 Plw;B), 称 做 关于 o- 代数 
FCF 为 正则 条 件 概率 , WR: 

а) 对 于 每 一 个 wE 9,Р(и;.) 是 多 上 的 概率 测 度 ; 

b) 对 于 每 一 个 ВЕ, P(w, В) 作为 w 的 函数 是 条 件 概率 РВ) 的 变 式 
之 一 , ВП | 
Plo; B) = PEF) (а.с). 


定理 3 ЖРО В) ATS 是 正则 条 件 概率 ,上 是 可 积 随机 变量 M 
EIF (w) = f E) P(w; ай) (a.c.). (24) 
‘2 
证 明 如 果 & Гь, BE 人 安 , 则 要 证 明 的 (24) REX 
Р(&#)(ш) = P(w; В) (а.с). 


并 且 由 定义 6 的 b), 知 此 等 式 成 立 . 从 而 , (24) 式 对 于 简单 函数 成 立 
RER Е >0 ЖЕ ТЕ, Ж е, 是 简单 函数 . 那么 , 由 定理 2 的 性 质 b), 有 


ECES (2) = lim Е(&„|#')(ш) (а.с). 
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因为 对 于 每 一 个 ws О,Р(;-) 是 测度 , 则 根据 单调 收敛 定理 , 有 
lim Е(6н |9 ) (№) = lim | En (©)P(w; 4) = | E(w) P(w; ш). 


由 于 上 = 27 – 27, 故 一 般 情形 可 以 归结 为 上 面 已 经 证 明 的 情形 ， 口 
Ж КЯ=%,, 其 中 7 是 随机 变量 , 而 (En) 是 随机 向 量 , 且 具 有 概率 分 布 密 
Ж fen(Z,9). 假设 Elg(&)| < оо, 那么 


Bo = 0 = | (ж) (йд, 


ЖФ ых) 是 条 件 分 布 密度 (Ж, (18) R). 

为 表述 正则 条 件 概率 存在 的 基本 结果 , 需要 下 面 的 定义 . 

定义 7 R(E, Z) 是 可 测 空间 , х = Xw) 是 值 空间 为 Е 的 随机 元 , ВЯ 
的 о 子 代 数 . 对 于 we QR Beg ж ХНА Qw; В), ЖИ Х AF o- КЖ? 
的 正则 条 件 分 布 , 如 果 : 

а) 对 于 任意 w EQ, Qlw; B) 是 (Е,&) 上 的 概率 测度 ; 

b) 对 一 个 每 Be 多 , Q(w; В) 作为 w 的 函数 , 是 条 件 概率 P(X є BI 多 )(w) 的 变 
2 —, ВШ 

(и; В) = Р(Х є В| w) (а.с.). 

定义 8 RE 是 随机 变量 . 函数 F(w;z),w ee ОТЕВЖЖЕХТО 代数 多 
HENTA Ж, 如 果 : 

а) 对 于 每 一 weEQm,Ffw:z) ЖЕ ЕЖА: 

b) 对 于 每 一 ZE 了 ,Rowiz) = P(E <х|#)(ш) (а.с.). 

定理 4 ”随机 变量 《关于 o- RASCI 的 正则 分 布 函 教 和 正则 条 件 分 布 
永远 存在 . 

证 明 对 于 每 一 个 有 理 数 re В, 设 


Е. (и) = P(E < т) (м), EP PE < rF w) = Ее) 


是 事件 {Е < г} 关于 多 的 条 件 概率 的 一 种 变 式 . 设 {7;} 是 R 上 有 理 数 集 ， 如 果 
ri < ту, 则 由 于 性 质 B* 有 P(E <г: 7) <Р(ЁЕ<г,) (а.с.). 这 说 明 , Ж; 


Aij = {ш:Ё„,(ш) < Fr (w)}, A = ЈА, 


则 P(4) = 0. МЕУ Р, (о), гє {r} 不 单调 的 集合 的 测度 等 于 0. 
现在 , 设 


В; = {w: lim Е. +110) # Е. (6)}, В=|] В. 
t=} 
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显然 есап) | Цекнрп 一 oo. 因此, 根据 定理 2 ММ а), 有 ,in(w) 一 
Е. (о) (a.c). 说 明 (在 有 理 点 上 ) 不 右 连续 点 的 集合 В 的 测度 也 是 о: P(B) = 0. 
其 次 , 设 


С = {о: dim Falw) + ШО {w : lim Fn(w) £ 0}. 


ЖА, 由 于 {Е <n} 1 0, п — оо, M {Е <n} @,п э —оо, М P(C) = 0. 
现在 , 设 
limF(w), Ни AUBUC, 
Е(ш;х) = 4 "5 
| НиЕАЧВИС 
其 中 G(z) ЖК 上 的 任意 分 布 函数 . 下 面 证 明 函 数 FF(w; z) 满足 定义 8 
ив АВС, 那么 Blwiz) 显然 是 zz HARAM. Таса sr, т] т 
ЕУ, ДЈ 
Е(о5 £) < Е(шут') < F(w;r) = F w) | Fw; а). 
因此 Flw х) НЕЕ. 类 似 , 有 


lim F(w;x)=1, m F(w;7x)=0. 
T—> DC T—> — OQ 


由 于 当 we 4UBUC В, F(w;x) = G(x), 则 对 于 每 个 w eQ, Flw) ÆR 上 的 分 
Лр, 即 满足 定义 6 中 的 条 件 a). 

根据 构造 ， P(E€ < r| Fw) = Е, (№) = Е(и;т). WR r | т, 则 由 于 已 经 证 明 的 
F(wiz) 的 右 连 续 性 , 可 见 对 于 一 切 осо, 有 К(ш;т) | Е(ш; х); 由 定理 2 的 命题 a) 
知 , 几乎 处 处 有 P(E < rF )(ш) > P(E < |f (и). 因此 , F(w;zx) = P(E < rw) 
(а.с.). 于 是 , 定义 8 的 性 质 b) 得 证 . 

现在 证 明 变 量 上 关于 多 的 正则 条 件 分 布 存 在 . 

假设 F(w;r) 是 上 面 建立 的 函数 . 设 


Qlw; В) = f F(w;dz), 


其 中 的 积分 是 勒 贝 格 - WERI. 由 勒 幢 格 - ERRE Ж, (М, 
86 第 8 Л) ,对 于 每 个 固定 的 wen, Qw B) 是 В 的 测度 . 我 们 利用 “适当 集合 
原理 ”( 见 $2 第 1 小 节 ), 证 明 Qw В) 是 条 件 概率 P(B w) WER. 

设 多 是 .多 (R) 中 使 Qw; В) = P(E є BIE w) (ас) 集合 в 的 全 体 . 由 于 
F(w; x) 几乎 必然 等 于 P(E < 2827) (и), п] ИИ В = (оо, т], тєв, 的 集合 В 属于 
RRE. 说明 集 系 多 也 包括 一 切 形 如 (a,9] 的 区 间 , 以 及 由 有 限 个 不 相交 形 如 (a, 
的 区 间 的 和 组 成 的 代数 6. 那么 , 由 测度 Q(w; В) (其 中 w 固定 ) 的 连续 性 , 以 及 定 
H 2 的 命题 b), 可 见 # 是 单调 类 . 因为 в СРС.% (В) 所 以 由 52 的 定理 1, 有 


(В) = o( £) со?) = MG) =F c BR). 
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于 是 = BR). | С 

利用 不 复杂 的 拓扑 分 析 , 可 以 将 定理 4 关于 存在 正则 条 件 分 布 的 论断 推广 到 在 
博 雷 尔 空间 取 值 的 随机 元 . 现在 引进 如 下 定义 . 

定义 9 ”可 测 空间 (Е,&) 称 做 博 雷 尔 空间 , 如 果 它 按 博 雷 尔 等 价 于 数 轴 的 某 一 
博 雷 尔 子 集 , 即 存在 一 一 映射 р = ple): (Е,&) 一 (В,.(В)), 使 得 

1) (Е) = {ф(е) : Е E} 是 BPR) 的 某 一 集合 

2) y X E- НЯ: ЦА) Е® A EADAR): 

3) фи .9(В)/8— 可 测 : {fe(B) є pE) NZR), Всё). 

定理 5 Я Х=Х() 是 在 博 雷 尔 空间 (E,Z) 取 值 的 随机 元 ， ЖА, 存在 Х 
的 关于 о- 代数 多 CC 多 的 正则 条 件 分 布 | 

证 明 R о = (е) 是 定义 9 中 的 函数 . 由 于 定义 9 中 的 2), p(X(w)) 是 随机 变 
E. 故 由 定理 4, 随机 变量 p(XX(w)) AFF 的 条 件 分 布 Q(w; А), А є (ЕП. Е) 
有 定义 . 

引进 函数 Q(w; В) = О; (В), Be 多 .由 定义 9 的 3) p(B) є wp(E) 门 .BB(R) 
因而 Q(w; В) 有 定义 . 显然 , 对 于 每 一 个 w,G(w; В) 关于 BB є ®) 是 测度 . 现在 固 
Е BEE. НҒ р = yle) 是 一 一 映射 , 有 

(и; В) = Q(w; p(B)) = P{p(X) є (В)! Hw) = P{X є BIF Hw) (а.с.). 

FE, Q(w; В) 是 X 的 关于 多 的 条 件 正则 分 布 . 口 

Ж ЖХ=Х() 是 在 完全 可 分 度量 空间 (Е,&) 取 值 的 随机 元 . 那么 , GAX 
ХУ 的 正则 条 件 分 布 . 特别 , 对 于 空间 (有 R", .多 (R")) 和 (R®, 8R”) 存在 这 
样 的 分 布 . 

其 证 明 可 以 从 两 方面 得 到 : 第 一 , 定理 5; 第 二 , 由 拓扑 中 著名 结果 知 , 这 样 的 空 
辣 是 博 雷 尔 空 间 . 

8. 贝 叶 斯 定理 的 推广 由 上 面 盖 述 的 条 件数 学 期 望 的 理论 , 可 以 得 到 在 统计 学 
中 用 到 的 贝 叶 斯 定理 的 推广 . 

回忆 . Z = {41,… , An}(P(4;) > 0) 是 空间 О 的 分 割 , 则 由 第 一 章 83 (9) 式 的 
贝 叶 斯 定理 知 , 对 于 任意 B,P(B) > 0, 有 

Р(А;)Р(В|А;) 

У» Р(А;)Р(В|А;) 


因此 , 如 果 9 = У," а:Га, 是 离散 型 随机 变量 , 则 根据 第 一 章 $8 的 (10) R, 有 


Р(А;|В) = (25) 


> ,9(а:)Р(АЈ)Р(ВІА;) 
Elg(0)|B] =, (26) 
У`Р(А;)Р(В|А;) 


j=l 
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| Г. 9(а)Р(В|0 = а) Py (да) 
Е[9(6) | В] = 一 有 一 一 一 一 (27) 
J P(B] = а) Рь(аа) | 


其 中 Р,(А) =Р{0 € А}. 
由 刚 引 进 的 Elg(9)|B] 的 定义 , 不 难 证 明 , (27) 式 对 于 任何 事件 B,P(B) > 0, 以 
及 随机 变量 0 = Ө(ш) 和 函数 9 = gla) В. Е|9(0)| < оо, 仍然 成 立 . 
现在 , 对 于 某 o- 代数 (Я <Я) 的 条 件数 学 期 望 EOF], 考虑 (27) 式 的 


类 似 
设 
Q(B) = /so))P(dw)，Be8 ов) 
则 由 (4) 式 可 见 4 
Е (6)197] = Rio). (29) 
о 代数 多 同时 , Нево 代数 Фә, 则 由 (5) АНЯ 
Р(В) = |. Р(В|,)арР, (30) 
$2 
ай ТЕ ИН ЕЕ ИЕШЕ ДА, 有 
P(B) = [| Р(Б|#=а)РУ(4а). (31) 
由 于 
Q(B) = Elo(0)1s] = Е10(0)Е(1»[0)], 
可 见 


9(в) = | © з@р(В = а)Ру(да). (32) 


现在 假设 这 些 条 件 概 率 P(BI = а) 都 是 正则 的 , 并 且 可 以 表示 为 
Р(В|# = а) = J p(w, а) (а), (33) 


其 中 р = p(w;a) 是 非 负 (对 两 个 变量 ) 可 测 的 函数 , 而 和 是 (0,97) 上 的 某 с 有 限 
测度 . 设 Elg(9)| < оо. 现在 证 明 , 依 概率 1, 有 (广义 贝 叶 斯 定理 ) 
/ ^ g(a)p(w;a) Palda) 
Е [9 (9) 197 (и = 
J p(w;a)Pa(da) 


为 证 明 (34) 式 , 需要 下 面 的 引 理 . 


$7. 关于 o- 代数 的 条 件 概率 和 条 件数 学 期 望 . 243 - 
引 理 H(I) 是 某 个 可 测 空 间 . 
а) Жи Au < Л) Жо- 有 限 测度 , = f(w) F- TAAR, A 
] Тай = / jd》 (35) 


( 即 如 果 其 中 一 个 积分 存在 , 则 另 一 个 也 存在 , 并 且 二 者 相等 ). 
b) У 是 带 符号 的 测度 , 而 и 和 A 和 (1 < А) Яо ЖЕЖ Вии А, 
则 


d d d 
и d / ай Е 
Чи ах/ ал (u — а.с.). (37) 
证 明 а) 由 于 


可 见 对 于 任意 简单 函数 了 = У fila, (35) 式 自然 成 立 . 一 般 情形 , 由 表示 f = Р-Р 
和 单调 收敛 定理 可 以 得 到 (35) R (对 照 86 (39) 式 的 证 明 ). 
b) 由 命题 а), 其 中 设 f = dv /dn, 可 得 


ZOOO 
а= | dA. 


由 于 集合 А 的 任意 性 和 86 的 性 质 工 可 得 (36) =. 
由 (36) 式 , 以 及 如 下 等 式 可 得 (37) 式 : 


ART Да (а) 


(在 集合 {w : ар/ал = 0} 上 (37) 式 的 右 侧 可 以 任意 决定 , 例如 , 令 其 等 于 0).、 o 
为 证 明 (34) 式 注 意 到 , 由 健 比 尼 定 理 和 假设 (33), 有 


9(в) = f | f _ (opli ауРыда) Ма), (38) 
P(B) = |||’ реза) Ра) (а) (39) 


因此 о < А, М 


那么 ， НУІ, 有 


рг 


ағ ар/ал 
由 此 并 考虑 到 (38), (39) 和 (29) =, 得 (34) 式 . 


19 _ 49/4 P ac) 
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注 如果 代替 随机 变量 9, 考虑 在 某 一 可 测 空间 (五 ,8 ) 取 值 的 随机 元 , 则 (34) 
式 仍然 成 立 (只 要 把 在 К 上 积分 换 成 在 Е 上 积分 ). 
下 面 讨论 (34) 式 的 菜 些 特殊 情形 . 
假设 o- 代数 F 由 随机 变量 上 生成 : У = о(Е). 
假设 
Р(&4 є А|0 = а) = | чеха) маг), АЕ. (В), (40) 


其 中 q = а(т;а) 是 关于 两 个 变量 非 负 可 测 的 函数 , А 是 (В, 8R) EKE o- 有 
限 测度 . 那么 , 由 勒 贝 格 积分 在 符号 下 的 变量 替换 和 (34) 式 , 可 得 


{ga pala) 
Г. 4(т;а)Рь(4а) 


特别 , 设 (0, 4),0 = Y aila E = zi7B,， 是 两 个 离散 型 随机 变量 . 那么 , 作为 》 
选 计数 测度 (A({zi}) =11=1,2,...), 由 (40) =, 得 (对 照 (26) 式 ) 


> 9(a)P{E = 1310 = ai}P1{0 = а} 
>. Р{& — т;9 一 а;}Р{0 — а; \ 


E[g(0) Е = т] = (41) 


Е 9(0)|Е = ху = (42) 


MER (0,2) 是 密度 为 focla т) 的 两 个 绝对 连续 随机 变量 , 则 由 于 (19) =, 可 
见 (40) 式 成 立 ， 其 中 9(2,а) — Гав (т|а), 而 入 是 勒 贝 格 测度 . 因此 


/ g(a)felo(zla)fo(a)da 
С = 2] = 8 (43) 
[| fae(zla) (а) аа 


9. 条 件数 学 期 望 的 换算 公式 ”我 们 再 引进 广义 贝 叶 斯 定理 ( 见 (34) 式 ) 的 一 种 
形式 , 其 (下 面 的 ) 提 法 在 与 概率 测度 变换 有 关 的 问题 中 特别 适宜 . 

定理 6 假设 P 和 PP 是 可 测 空间 (0,9) 上 的 两 个 概率 测度 且 测 度 P 关于 
测度 了 绝对 连续 ( 记 作 Р < Р), 而 ар /ар 是 测度 P 关于 测度 Р 的 拉 东 一 ЛЖ 
ЖЖ Ф# Жж РОС) изо RE EUF) = EUS) 相应 为 按 测度 局 和 
ЕР 关于 多 的 条 件数 学 期 望 ; с 是 非 负 (#— 可 测 的 ) 随机 变量 , 则 下 列 “ 条 件 


”数学 期 望 的 换算 公式 ”成 立 : 


dP 
(2) 
(Р —а.с.). (44) 


аР 
(р 2 


Е (|) = 


67. 关于 o- 代数 的 条 件 概率 和 条 件数 学 期 望 ‚245. 


对 于 使 条 件数 学 期 望 EES) 存在 的 一 切 随机 变量 上 ЛХ (44) 成 立 . 
证 明 首先 注意 到 , 事件 


设 © > 0. 根据 条 件数 学 期 望 的 定义 , EES) 是 F- 可 测 随 机 变量 , 且 对 于 任 
ЖАЄ, 满足 


EITAE(ElS)) = ElI4é)]. (45) 
因此 , 为 证 明 (44) 式 , RAUR (44) 式 右 侧 的 (多 ~ 可 测 ) 随机 变量 满足 下 面 的 不 
等 式 : 
| (|? 
Е | ГА | = Е[ГАё]. (46) 
dP 
E (Б > 
利用 条 件数 学 期 望 的 性 质 , 以 及 56 的 (39) Җ, 可 得 
_ dB dB 
1.8) |, o 
Е |І х z5 = E | 4 x JB 
E (T s) E ($ 7) 
dP 
Е | & — |3? 
( dP ) dP ~ P 
= Е |/, х х Е p l = Е |14 xE бар 


从 而 , 对 于 非 负 随机 变量 с, 证 明了 (45) А. 对 于 任意 可 积 随机 变量 с 一 般 情形 的 
证 明 , 完全 类 似 于 56 的 (39) 式 的 证 明 . 口 
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10. 充分 统计 量 和 因子 分 解 定理 上 面 引 进 的 广义 贝 叶 斯 定理 ((34),(41) 和 
(43) 式 ), 是 数理 统计 中 “ 贝 叶 斯 方法 ”的 基本 工具 之 一 . 它 回 答 如 下 问题 : 根据 对 
与 随机 参数 Ө 相 联系 的 随机 变量 с 的 观测 结果 , 如 何 重新 分 配 关 于 随机 变量 8 的 知 
识 . 

下 面 将 讨论 条 件数 学 期 望 概念 在 由 观测 结果 估计 未 知 参 数 问题 中 的 另外 一 种 应 
H. (需要 强调 : 与 上 面 讨 论 的 о 是 随机 变量 的 情形 不 同 , 现在 Ө 是 事先 给 定 的 参数 
ЖӨ 中 的 某 一 普通 参数 (对 照 第 一 章 87)). 

实质 上 , 这 里 说 的 是 关于 数理 统计 中 的 一 个 重要 概念 一 一 充分 子 o 一 代数 (或 
с— 子 代 数 ) 的 概念 

(О) 是 某 一 可 测 空间 , P = {Po,0 є Ө} 是 依赖 于 参数 的 概率 测度 Po ЖЖ, 
其 中 9 属于 参数 的 集合 O WRAS 多 =,F, P) 为 概率 - 统计 模型 或 概率 - 统 
计 试 验 (对 照 第 一 章 87). 

为 说 明 下 面 引 进 的 定义 10, 假设 有 结局 w И s- 可 测 函 数 (统计 量 )， 和 
由 该 函数 了 = Tlw) 诱导 的 oc 一 代数 Я = o(T(w)). 显然 , С.Я HRES 中 
可 能 有 不 属于 S 的 元 素 ( 即 多 [БЕ FR”) 但 是 , 完全 可 能 出 现 这 样 的 情形 : 从 
定义 的 角度 对 什么 样 的 参数 9“ 作 用 ”使 得 除了 关于 了 = T(w) 的 知识 之 外 , 任何 关 
于 参数 0 的 其 他 信息 , 没有 也 不 需要 有 . 在 这 种 意义 上 , 统计 量 т 自然 应 称 为 充分 
的 . 

注 1 在 T(w)=w 的 情形 下 , 即 已 知 的 是 结局 本 身 (而 不 是 其 函数 ), 可 以 指出 
如 下 两 种 极端 的 情形 . 

一 种 是 对 于 一 切 be Ө, 所 有 概率 Po 都 相等 . 显然 , 在 这 种 情形 下 , 任何 结局 ш 
都 不 能 提供 关于 参数 0 的 值 的 任何 信息 . 

另 一 种 情形 是 , 所 有 概率 Po ЖЖ, “ЕР Я 的 不 同 子 集中 (ЕП, 对 于 任何 
两 个 参数 0, 和 б», ИЕР, ЯР, 是 奇异 的 : 存在 两 个 集合 ERT) О, 和 Qo, 
使 

Ре, (О\О0,) =0, Ро, (О\90,) =0, 96 п06 = 2 


成 立 ). 在 这 种 情形 下 , 参数 9 的 值 由 所 得 结局 w “唯一 ”确定 . 

对 于 这 网 种 极端 情形 没什么 兴趣 . 人 们 感 兴趣 的 是 , 所 有 测度 Po 都 等 价 的 情形 
(而 这 时 其 承载 子 不 可 区 分 ). 

ME, 我 们 把 o- 代数 = o(T(w)), 以 及 更 一 般 地 把 任何 子 o- RAF CF, 
视 为 在 试验 结局 为 we О 时 , 所 获得 的 “信息 ” | 

有 了 这 样 的 信息 F, ( 像 贝 叶 斯 定理 的 情形 一 样 ) 自然 关心 概率 Р, 如 何 变化 , ВП 
相应 的 条 件 概率 PoF w) 如 何 . 这 时 (与 注 1 的 第 一 种 情形 类 似 ) 明显 , 假如 这 些 
概率 对 于 所 有 о 不 依赖 于 0, 与 由 “信息 ”多 可 以 得 到 的 相 比 , 则 由 “更 多 的 信息 ” 
多 2 多 得 不 到 关于 参数 9 的 任何 更 新 的 内 容 . 

这 时 ,“ 信 息 ” # 可 以 称 为 详尽 无 遗 的 , 或 者 习惯 上 , 称 做 充分 的 . 
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直面 的 定义 表达 了 上 面 的 论断 . 

定义 10 ЖЕ= (0,7,0) 为 概率 - 统计 模型 ,= {P0 E 0 MF Æ 
FF c FRF o- Rf. RT c- 代数 Р 对 于 2 兄 族 是 充分 的 , 如 果 存 在 不 依赖 
FAHRE P- |7) (4) (0 с 9,w Ee О) 的 变 式 , 即 存在 函数 Р(А; ш), АЕ о є 0, 
使 对 于 一 切 А.Я Meco, H 


Ру(А!3? )(ш) = P(A;w), (Рә — а.с.), (47) 


即 对 于 一 切 ge Ө, Р(А;ш) 是 PAF (и) 的 变 式 . 

如 果 Я = o(T(w)), WAHE T = Tw) R P 族 的 充分 统计 量 . 

+2 在 统计 研究 中 , 求 充 分 统计 量 的 重要 性 , 在 于 力图 寻找 结局 w 的 这 样 函 
ЖТ = Т(о), 使 之 在 保留 (关于 参数 9 值 的 ) 信息 的 情况 下 压缩 数据 . 例如 , 设想 对 
于 很 大 的 п, A w = (zx1, xX2,… Enhi E В. ЖА, 由 于 现 有 数据 x1, 7x2,:… ,zn 的 
维 数 п 很 大 , 使 建立 参数 8 的 “好 ”估计 量 (例如 , 第 一 章 87) 可 能 成 为 很 困难 的 问 
题 . 不 过 , 完全 可 能 出 现 这 样 的 情形 (这 在 第 一 章 57 我 们 已 经 见 到 ), 为 建立 参数 的 
“好 ”估计 量 , 完全 不 需要 知道 原始 数据 x1,7X2,… т, 只 需 构 造 统 计量 的 数据 的 和 : 
Tlw) = ту +02 ++ жь. 

显然 , ОРНУ ЗЕ ДЖ ЖЯ Т ЭЗЕ (与 计算 量 ), 同时 对 于 建立 参 
数 8 的 “好 ”估计 量 , 也 是 充分 的 . 

下 面 的 因子 分 解 定 理 提供 了 , 保障 о 代数 多 对 于 概率 测度 Po 族 久 一 {Po,0 є 
9} 的 充分 性 的 条 件 . 

定理 7 &ЗУ={Р,0Е Ө} 是 被 控制 测度 族 , 即 存在 QF) Ligo- 有限 
测度 А, 使 对 于 6 & 昌 , 测度 Р, 关于 入 绝对 连续 (Pg <А). 设 


Te 


p(w) = уу (6) 


是 测度 Р, 关于 测度 入 的 拉 东 — 尼 科 迪 姆 导数 ， 

$ с- 代数 多 对 于 概率 测度 族 P ARTH, н Вл зай gh*)(w) 有 因子 分 
М: 存在 非 负 兄 数 I (ш) 和 hw), 其 中 ду (ш) Ж #— TARR, h(w) 是 多- 可 
ЖЖ, 且 对 于 一 切 6€ 9, 有 


(м) = 2 (hv) (A—ac.). (48) 
假如 把 测度 入 取 为 测度 Po, 其 中 b0 是 日 的 某 个 参数 , 则 对 于 o 一 RAFY 的 


充分 性 , 充分 和 必要 人 条件 是 : УЖ 


ар» 


go (w) = др, © 


4AF- 可 测 的 . 
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证 明 1) 充分 性 . 根据 假设 作为 控制 测度 А 是 с ARWR. 表示 存在 多- 可 
测 不 相交 集合 Qx,k>1, 使 Q= У, Qr H 0< AN) < со,К > 1. 
建立 测度 
1 Л(Оп.) 
№) = = 2k 1+ AQ) 


该 测度 有 限 , МО) < co В ЛО) > 0. 不 失 普 遍 性 , 可 以 认为 和 是 概率 测度 : (Q) = 1. 
那么 , 由 条 件数 学 期 望 的 换算 公式 (44), 对 于 任意 Я — 可 测 有 限 随机 变量 X = 


Х (ш), 有 
Е; (х аро 7) 
Eol XIF) = - ( т, (Ро — а.с.). (49) 
^\ ал 
根据 (48) 式 , 有 
(0) _ de _dfo аА _ (дА _ д), dà 
ТТА ad а 0 ай (50) 
因此 (49) 式 有 如 下 形式 : 
Е; (хар Sls) 
Eol XIF ) = — А (Po — а.с.). (51) 
Ev [д h |4 
à (& | ) 
但 是 07) A 多- 可 测 , Н. 
Е. (х һ Lia) 
Ee(XI|Y) А (Ре - а.с.). (52) 


这 里 的 右 侧 与 8 ER, 从 而 性 质 (47) RA. 于 是 , 根据 定义 10, o- 代数 G 是 
充分 的 . 

2) 必要 性 ， 为 证 明 必 要 性 需要 有 补充 假设 : 测度 族 P = {Po,0 € Ө} 不 但 被 
K o- 有 限 测度 和 控制 , 而 且 存 在 某 个 bo є Ө, 使 一 切 测度 Po < Po, 即 对 于 任意 
ёє Ө, 测度 Ро 关于 测度 Po, 绝对 连续 . (一 般 情形 的 证 明 变 得 比较 复杂 , 参见 [106] 
的 定理 34.6.) Б 

这 样 , Я 是 充分 c- 代数 , 即 满足 性 质 (47). {81% Po < Ру,0ЕФ, 证 明 , 对 于 
每 一 个 ge Ө, д = dPo/dP。 是 F- ЖЖ. 
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АЕ. ЖА, 对 于 每 一 个 9 є Ө, 利用 条 件数 学 期 望 的 性 质 , 可 得 (其 中 
бо) — dpg /dPo, ): 
99 6 to 


Poe(A) = ЕТА = Е, Ев (Та!) = EoEo (14|) = Eoo [9 Eo, AF) 
一 = Eg, Eo, gg” Ep, (ТА) F] = Eo, (Ее, (95297182) х [Eo, (1417)]) 
= Eg, Eo, ГА Ев, (99 19)12] — Eo, ГА, (917919) = J Eo, (9) |F )dPo,. 
从 而 , 导数 的 变 式 g = dPo/dPo, 是 多- 可 测 函 数 Eo, (EF). 
РО, 当 Л = Ри, В, 由 о- 代数 ИЖ, 可 得 因子 分 解 的 性 质 (48), 其 中 
990) (ш) = 00), Ь = 1. 
对 于 一 般 情 形 (仍然 需要 补充 假设 ро < Po,,9,e Ө), 有 


() _ ЧРо _ dPe dPo, _ (ө)аРө, 
ө ал ар, а % а. 


ш dP 
ўро) — gf”, h = e, 

得 所 要 证 明 的 因子 分 解 表 达 式 (48). 口 

Жз 有益 地 强调 , 对 于 任意 测度 族 P = {Р„,Ө c Ө), (在 没有 任何 控制 型 假 
设 的 情况 下 ) 充分 с 代数 显然 存在 . 作为 这 样 的 o- 代数 , 可 以 取 最 “丰富 ”的 o- 
代数 Я. 

事实 上 , 这 时 对 于 每 一 个 可 积 随 机 变量 X, EXIF) = Х(Ро — a.c.), 从 而 性 质 
(47) RAL. 

显然 , 这 样 的 充分 o- 代数 没有 什么 意义 , 因为 这 时 不 会 有 任何 “数据 的 压缩 ”. 
寻找 最 小 o 一 代数 F nin 即 一 切 充分 o- 代数 的 交 才 有 真正 的 意义 (参见 82 的 引 理 
1 的 证 明 , 可 见 最 小 c- 代数 存在 ). 然而 明显 地 建立 这 样 的 rc- 代数 并 不 容易 (不 过 
可 以 参见 [107] 第 二 章 813 ~ 815). 

注 4 ,假设 P = {Po,9 с Ө} 是 被 控制 族 (P。< ,0 € 6, 和 A 是 co- ARME), 
而 对 于 一 切 ge Ө, 密度 g = (dPo/d 和 )(w) 可 以 表示 为 


97 (м) = GO TO) RW), (А—а.с.), (53) 


其 中 了 = Tw) 是 取 值 于 集合 Е 的 (及 在 Е БУНЕ o- 代数 多 ) EIE- 可 测 
函数 (随机 元 , М, 55). 设 函 数 СО (В 1ЕЕ, 和 Мы), ше О, 是 非 负 的 且 相 应 为 多 – 
和 .多 -可 测 的 . 

比较 (48) AAI (53) 式 , TA o- 代数 F = o(T(w)) 是 充分 的 , 而 函数 Т = Tw) 
(在 定义 10 的 意义 下 ) 是 充分 统计 量 . 

注意 , 在 被 控制 的 情形 下 , 通常 正式 以 满足 因子 分 解 式 (53) 的 函数 T= Tw) 当 
作 充 分 统计 量 的 定义 ， 
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例 5 (指数 族 ) ”假设 =R, F = BR), 测度 Po 是 按 如 下 方式 构造 的 : 对 
F w = (zizz --- ,Tn), Є R, № 


Po(dw) = Ро(4х:)---Ро(ах»), (54) 
其 中 测度 Pe(dz),z Е В, 有 如 下 构造 : 
Poe(dz) = a(0)ef O n(x) (ах). (55) 


XE, $ = (1) ЖЖ B- НИ Ш a(9), 60), (2), Adr) 含义 明显 . (测度 族 
Po,9 Е Ө, 是 称 为 指数 族 的 最 简单 例子 .) 由 (54) 式 和 (55) 式 , 可 见 


Poe(dw) = а” (Oe Olst ts (zn) (р) .- - y(£n)dz1 d£n. (56) 


由 (56) R5 (53) 式 比较 , 可 见 统计 量 T(w) = з(ж1)+----є5(ж„),ш = (21, En), 
(对 于 所 考虑 的 指数 族 ) 是 充分 统计 量 . 

如 来 对 于 w = (£1, ‚Тп), w Х1 (4) = 41, °°° ‚Х.(ш) = Хд, 则 ( 按 测 度 的 直 积 
原则 组 成 的 ) 测度 Ро 的 构造 , В Х,,...,Х, 关于 这 些 测度 是 独立 同 分 布 随机 变量 
序列 . 

于 是 ,根据 序列 Xi1(w),… ,Xn(w) 建立 的 统计 量 T(w) = 8(Ху(ш)) t + 
s(Xn(w)),， 是 充分 统计 量 . (在 练习 题 20 中 要 求 回答 , 这 一 统计 量 是 否 最 小 充分 统 
计量 ). 

Я6 690 - R, F = BR”), 参数 6 > 0 BHF w= (£1, Enh (Ж) 
贝 格 测度 А 的 ) 密度 为 


аР, 0", O< <0,4=1,:::п, 
о ЖААЖ. 
如 果 
T(w) = тах ti, 
15:<п 


1, Фї т; 之 0,1 一 „п, 
(ш) = 
0, EDA, 
Се) — 0", т 0<+#<90, 
0 АЖ, 
则 


TEO) = GH To) цы) (57) 


于 是 , Т(ш) = тах т, 是 充分 统计 量 得 证 . 
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11. 无 偏 估 计量 , 拉 奥 - 布莱克 韦 尔 (С. В. Вао-р. Н. Blackwell) 定理 ”假设 
o 是 直线 上 的 一 子 集 , 多 = (Q, F, P = {Po :9€ 0} 是 概率 统计 模型 . 现在 考虑 的 
问题 是 : 建立 参数 9 的 “好 ”估计 量 . 

任何 随机 变量 8 = 8(w) 都 将 视 为 参数 Ө 的 估计 量 (对 照 第 一 章 87). 

下 面 的 定理 表明 , 充分 о - 代数 的 概念 可 以 改进 估计 量 的 “质量 ”. 估计 量 9 的 
质量 , 是 用 其 对 参数 Ө 的 真 值 的 均 方 偏差 来 衡量 的 . 更 确切 地 说 , 称 参数 9 的 估计 量 
9 是 无 偏 的 , ШФ Е,|0| < о Н Ей = Ө (对 照 第 一 章 87 性 质 2). 

定理 8 ( 拉 奥 和 布莱克 韦 尔 ) HF 对 于 概率 测度 族 P 是 充分 6 - 代数 ， 而 
6 = Iw) 是 参数 6 的 某 一 估计 量 . 

а) 如 果 0 是 无 偏 估 计量 , 则 估计 量 


Т = Е, (8?) (58) 
也 是 无 偏 的 . А 
b) 估计 量 了 在 如 下 意义 上 优 于 估计 量 Ө: 
Е(7 — 0)? < Е, (8 -0)?, Өє Ө. (59) 
证 明 性 质 a) 由 下 列 等 式 可 见 : 
ET = Е,Е,(99) = Е,0 = 0. 
为 证 明 性 质 b) 只 需 注意 到 : 由 延 森 不 等 式 (只 需 在 练习 题 5 P gle) = (z — 0)2), 


有 
[Ее (83?) — 0)? < Ев [(@ — ө)?|#7]. 


在 不 等 式 两 侧 同 时 求 数 学 期 望 Eo), 得 要 证 明 的 (59) È. | 口 
12、 练 习题 
1. БЕЯ 是 独立 同 分 布 随 机 变量 , Et 有 定义 . 证 明 


E(EJE +) = ЕЕ +) = Тс.) 


2. 设 &1,52,.. 是 独立 同 分 布 随机 变量 , Н Е, < оо. 证 明 


Sn 
Е(&1|5$л, On+1) n. ) — —— (а.с.), 


其 中 Sn = &1 + --- En- 
3. 假设 对 于 随机 元 (X,Y), 存在 正则 分 布 P.(B) = P(Y є B|X = zx). ЧЕН, 如 
Ж Elg(X,Y)| < со, МР, 一 a.c., 有 


Elg(X,Y)IX = z] = J (т, y) Pa (ду). 
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4. 设 随 机 变量 上 的 分 布 函数 为 Р (х), 证 明 
b 
rdFe(7) 
Бе <E = куу Fela) 
(假设 Е, (Б) — Fe(a) > 0). 
5. B g = g(x) 是 四 (М Г) 博 雷 尔 函数 , Е |9(5)| < оо. 证 明 , 对 于 条 件数 学 期 
望 , (a.c.) 有 延 森 不 等 式 : 
9[Е(&|#)| < Elg) F]. 


6. 证 明 随 机 变量 ¢ Ло - 代数 Ф 独立 ( 即 对 于 任意 Ве, ИНЕТ, 
WL), 当 且 仅 当 对 于 每 一 博 雷 尔 函 数 g(x), Elg) < со, 有 Е|9(&)| | = Ед (©). 

7. ВЕ 是 非 负 随 机 变量 , S 是 o КЖ F cF Q 是 由 等 式 Q(4) = fa ёар 
定义 在 集合 Ас ЕК. WEH, EES) < oo (а.с.) 的 充分 和 必要 条 件 为 Q 是 
有 限 测度 . | 

8. 证 明 条 件 概率 Р(А|В) 在 如 下 意义 上 “连续 ”; ШЖ lim, А, = A, шо, В, = В 
H Р(В,) > 0,Р(В) > 0, W ню, Р(А„|В„) = Р(А|В). 

9. № Q = (0,1), Я = .多 ((0,1)),P 是 勒 贝 格 测度 ; X(w) A Ү (ш) 是 在 (01) 上 
均匀 分 布 的 两 个 独立 随机 变量 . 考虑 第 三 个 随机 变量 Z(w) = Xw) -Y (w) E 
Х(ш) 和 Y(w) 之 间 的 距离 . 证 明 Z(w) 的 分 布 函数 Fz(z) 有 密度 : 


_ ] 21-2), 0<2<1, 
А = 若 不 然 


(由 此 可 见 EZ = 1/3.) | 
10. [4] 2242 Ж В ВЯ {(т,у) : 22 + у? < 82} 上 “随机 地 ” 掷 两 点 A 和 A, Bp 
独立 地 选 两 点 且 选 到 点 Alpi 0;),i = 1,2, 的 概率 (在 极 坐 标 系 中 ) 为 : 
Р{р; Е ат, 0; є dð} = ре 1 = 1, 2. 


证 明 扣 А, 和 А 之 间 的 距离 р 的 分 布 密度 为 : 
2r r r r \2 
fofr) — ТЕ? эс (5=) — R 1 一 (55) 


АФ 0 <т < 2А. 

11. 在 单位 正方 形 中 (其 顶点 为 (0,0),(0,1),(1,1),(1,0))“ 随 机 地 ”( 解 释 何 意 !) 选 
TA Р = (х,у). 证 明 该 点 Р RA (1,1) 比 离 点 (—1/2,1/2) ЗЕ. — 

12. A 和 B 两 人 约 好 在 7 点 到 8 点 之 间 会 面 . 但 是 两 人 忘记 了 确切 的 会 面 时 间 ， 
只 好 在 7 点 到 8 点 之 间 “ 随 机 地 ”到 达 会 面 地 点 , 并 且 最 多 等 10 分 钟 . 证 明 他 们 能 
匈 面 的 概率 等 于 11/36. 


57. 关于 o- 代数 的 条 件 概率 和 条 件数 学 期 望 - 253 > 


13. Ж Xi, Xo, 是 独立 随机 变量 序列 , 5, = У" Х, 而 о(5) 是 由 52 生成 
的 о - ЖЖ. 证 明 5, 和 53 关于 0(5) RIFA. 

14. Жо - ЖЖ Я, ЯЗ, 关于 o - 代数 Ўз 条 件 独立 , 如 果 对 于 任意 А, € 
F; i=1,2, 

P(A Alf 3) = Р(А 9 3)Р(4> 3). 

证 明 F 和 #„ RTF 条 件 独 立 , 与 下 列 任 何 条 件 之 一 等 价 (P — а.с.): 

(а) 对 于 一 切 А, Е, A Р(А, |0(5()з)) = P(A 3); 

(5) 对 于 一 切 集合 ве ®,, 其 中 集 系 Р, 形成 r- ЕЯ, = 0(,), 有 
Р(В|о (929) = Р(В| 3); 

(с) т Илит Ж 2, Ж 2, 的 集合 В, 和 Bo, ШНЖ 97, = о (2 } 
和 Fa = в(2Р.), 有 Р(В. В|0(2,1]Ј3)) = РВ *)Р( В); 

(9) 对 于 一 切 oF UF) - 可 测 且 有 数学 期 望 ЕХ 的 随机 变量 (М 86 定义 
2), 有 Е(Х|6 (20 3)) = Е(Х |3). 

15. 证 明 关 于 条 件数 学 期 望 的 法 图 引 理 的 如 下 扩展 变 式 (对 照 定理 2 之 (d)). 

设 概率 空间 (0, 多,P), 而 (En) 是 随机 变量 序列 , 且 数 学 期 望 Enn 之 1 而 
Еп, 存在 ( 亦 可 取 +оо 为 值 ; 见 56 定义 2). 

假设 多 是 9 中 事件 的 子 o- 代数 , 而 且 当 a оо В, 


sup (ЁТ lieza} f) — 0, (Р-а.с.), 
证 明 
Pimenlz) < ШаЕ(&„|#), (Р—ас.). 


16. 假设 像 上 题 一 样 , 对 于 随机 变量 序列 (Е) „о, 数学 期 望 Ee п > 1, 存在 , 而 
F 是 多 中 事件 的 子 o - 代数 , H 


sup lim Е((&Һ„>к}!#) =0, (Р-а.с.). | (60) 
МЕНЯ, WR & 一 &(Р 一 a.c.), НЯ ЕЕ, n > 1, FE, 则 
Е(&һ|#) > EES), (Р —а.с.). 
17. 假设 在 上 题 的 条 件 下 , 式 (60) 换 成 满足 条 件 : 对 于 某 一 a > 1, 
sup Е(|&Һ||#)< оо, (P -ас.). 


那么 ， | 
EnS) > EEF), (Р-а.с.). 


18. 设 对 于 某 个 p > 1,6, Е, 证 明 EEIZ) 2 EES). 
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19. (а) 设 ОХ У) = Е{[Х - ЕХУ) У M DX = ЕБ(Х|У) + DE(XIY). 
(b) 证 明 соу(Х, У) = соу(Х, Е(У|Х)). 
20. 说 明 例 5 中 的 充分 统计 量 Tw) = 5(Х\(ш)) 十 … 十 s(Xn(w)) 是 否 最 小 的 . 
21. 证 明 因 子 分 解 公 式 (57). 
22. 对 于 第 10 小 节 的 例 5, 证 明 
п 1 

2N 


其 中 对 于 о = (z1, Enh Xilw) = zpi = l, n. 


E(X; lT) = Т, 


58. 随机 变量 П 


1. 方差 , 协 方差 和 相关 系数 ”在 第 一 半 3 引 进 了 简单 随机 变量 的 一 些 简 单数 学 特 
征 : 如 方差 、 协 方差 和 相关 系数 . 在 一 般 情形 下 也 相应 地 引进 这 些 概念 ， 具体 地 说 ， 
假设 (Q, F, P) 是 概率 空间 , 而 随机 变量 < = ilw) 有 数学 期 望 Et. 
称 
DE = Е(& — Её)? 


为 随机 变量 с 的 方差 . 
称 о = 十 VDE 为 随机 变量 Е 的 标准 差 . 
如 果 随 机 变量 ¢ 有 高 斯 ( 正 态 ) 密度 : 


(2 m)? 
Ст 


е 252, о> 0), -%0 <= < +оо, (1) 


fe(z) = = 
则 (1) 式 中 参数 的 含义 非常 简单 : 
т = ВЕ, o?=Dé. 
XIF, 称 为 高 斯 分 布 或 正 态 分 布 的 随机 变量 上 的 密度 , 完全 决定 于 其 均值 m 和 


HE o’. (因此 , 对 于 参数 为 т 和 о? 的 正 态 分 布 , 常 使 用 记号 :上 ~ N(m,o?).) 
MERIR (Е, т) 是 随机 问 量 , 称 


соу(5,7) = Е(5 – Е&)(п – En) (2) 


为 < 和 7 的 协 方差 (假设 其 中 的 各 个 数学 期 望 存在 )， 
ШЖ соу(&, п) = 0, 则 称 随 机 变量 < 和 7 不 相关 . 
如 果 0 < DE < oo,0 < Dn < оо, ШЖ 


_ _соу(&,7)) 
pE 1) ии VDE x Dn (3) 


为 随机 变量 上 和? 的 相关 系数 . 
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在 第 一 章 54 曾 讲述 了 简单 随机 变量 的 方 状 、 协 方差 和 相关 系数 的 性 质 . 在 一 
MEEF, 这 些 性 质 的 提 法 完全 类 似 . 

设 随 机 向 量 & = (&1,…… En) 的 分 量 有 有 限 二 阶 矩 . ЖК nxn ИЕ R = (Rij)nxn 
ЛЕНЬ Ж (2, р) ИЧМЕ ЕЕ, 其 中 Ry = соу(ё&;,&,). 显然 , R Жл] жЖ ЗЕ. 此 外 ， 
由 于 对 于 任意 MER i=l, n, 


ȘT Rydd = Е е — Еє,)А, 


可 见 R ЕЯ BN 


2 
> 0, 


УГ РМА; 2 0. 
i j=l 
下 面 的 引 理 说 明 逆 命题 亦 成 立 . 
51 nxn ВН В = (Rij;)jnxn 为 随机 向 量 (E) 的 协 方差 矩阵 的 充分 和 必 
要 条 件 是 , В 为 对 称 和 非 负 定 矩阵 , 或 者 等 价 地 : 存在 nxk(1 <k <n) НН А, 
使 
R = AAF, 


APE “Т” ZER HE 5: AT 是 矩阵 A 的 转 置 . 

证 明 上 面 已 经 证 明 , 任何 协 方差 矩阵 都 是 对 称 和 非 负 定 矩阵 . 

有 反之, 设 Н НЕЕ. НН, 对 于 任意 对 称 非 负 定 和 矩阵, 存 
在 正 交 矩阵 2 (ШШ ZZT = Е 是 单位 矩阵 ), 使 


Z'RZ=D, 


其 中 DD 是 对 角 线 上 元 素 为 非 负 (а, > 0,1i = 1,.… ,n) ИЖЕ: 


d10.:...0 
0 4... 0 
О = . + . „ 
0... dn 


НАЈ АМ, 
R= ZDZ! = (2В)(ВТ7Т), 


其 中 В 是 对 角 线 上 元 素 为 bi = +Vdi(i = 1, ,n) 的 对 角 和 矩阵 ， 因 此 ， 如果 设 
А = ZB, 则 对 于 Е, 得 所 要 求 的 表现 R = ААТ. 
显然 , ААТ 就 是 所 要 求 的 对 称 非 负 定 矩阵 . 因此 , 只 需 证 明 В 是 某 随 机 向 量 的 
协 方差 矩阵 . 
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设 11,12, ,Tn 是 独立 同 正 态 分 布 N(0,1) 的 随机 变量 序列 . (由 $9 定理 1 之 
Ж 1, 可 见 这 样 的 随机 变量 序列 存在 ; 实际 上 , 这 容易 由 83 定理 2 得 到 ) 那么 , 随机 
ЮЕ & = An 具有 所 要 求 的 性 质 (注意 ,上 = АА ММУ] НЕ). 事实 上 ， 


ЕТ = Е(Ал) (Ау) = А(ЕттГ)АТ = AEAT = ААТ. 


(如 果 С — (6:3) 是 以 随机 变量 为 元 素 的 矩阵 ， 则 Ec 表示 (ЕС;;).) Ш 
现在 考虑 二 维 高 斯 ( 正 态 ) 密度 : 


1 
LT, — == CX 一 一 一- 
fe,n( у) ло д 1 — р? — p? p{ 2(1 р?) с? 
2 
— m 一 #7 一 In 
ор 1)(0 —тә) (у 2) |} 


2102 UD 


1 f(z- m)? 
| (4) 


其 中 含 5 ЛЖ: ту, то, с1,оо, р (ХШ 83 之 (14) 5), 其 中 [ти < оо, [ma] < 
00,91 > 0,02 > 0, [о < 1. (№ 53 图 28.) 经 过 简单 的 计算 , 可 以 说 明 这 些 参数 的 概率 
意义 : 


mı = ВЕ, с? = Dé, 
тә = Ет, 03 = Dn, 
р = р(&, 1). 


在 第 一 章 54 曾经 说 明 , 如 果 随 机 变量 上 Ти 不 相关 , 则 还 不 能 说 明 它们 独立 . 
但 是 , 假如 (En) 是 正 态 的 (高 斯 的 ), 则 由 & 和 7 不 相关 , 可 见 它们 独立 . 
事实 上 , 如 果 在 (4) АНН p = 0, 则 


1 (ж ~ та)" (у — то)? 
ету) = 270102 хр | 20? | | 205 | 


但 是 , 由 于 86 的 (55) 式 和 本 小 节 (4) А, 有 


9 = | fnew Е р 


пе) = | адаг = аер [| 


TÆ, 
fen(z,y) = /<(ж) (у). 
由 此 可 见 , 随机 变量 上 和 7 独立 (A 86 的 第 9 ЛУ ЖЖ). 


2. 最 优 估计 量 在 前 面 87 引进 的 条 件数 学 期 望 概念 , 其 有 说 服 力 的 重要 性 在 
于 它 在 解决 关于 参数 估计 理论 的 如 下 问题 中 的 应 用 (对 照 第 一 章 ва 的 第 8 小 节 ). 


58. 随机 变量 П ‚ 257. 


设 (E, n) 是 随机 向 量 , 其 中 上 可 以 观测 , 而 п 不 可 观测 . 问 如 何 根据 对 的 观测 
值 “ 估 计 ” 不 可 观测 的 分 量 y? 

为 使 间 题 更 加 明确 , 我 们 引进 估计 量 的 概念 . 设 p = у(х) ERERKEN. K 
机 变量 (Е) 为 由 & 对 y 的 估计 量 , TTE Eln — ОР 为 该 估计 量 的 ( 均 根 方 ) 误差 
估计 量 p*(€) 称 做 (在 根 均 方 意义 上 ) 最 优 的 , 如 果 


А = Ejn – ф*()]? = inf Efn — (Е), (5) 
其 中 inf 在 一 切 博 雷 尔 函数 о = р(х) 类 中 来 求 . 
定理 1 ЖЕ < co. ЖА, 最 优 估计 量 р(х) 存在 , 并且 作 为 E 可 以 选 
任意 函数 : 
Pp (ж) = E(nlé = хт). (б) 


证 明 不 失 普 遍 性 , 可 以 只 考虑 满足 Ep? (E) < oo 的 (с). ВА, 如 果 (г) Ж 
所 欲求 的 估计 量 , 而 2*(e) = Elne), №] | 


Е – 2(5)]7 = E{ly – p (E + [2*(& ENF 
= Efn - 9* (£)? + Е[0* (£) — ФОР +281 — ф*(©)][ф*(&) — pE) 
> Efn — ф^*(ё)]?, 
由 于 Elp*(€) – у(ё)]? > 0, 并 且 由 条 件数 学 期 望 的 性 质 . 可 见 


Eln – 9" 一 2 = ЕЕ — 4* (EN (£) - 2(&)][&} 
| = Е{10*() — Ф()1Е [7 – Ф* (6) = 0. О 

注 1 由 定理 的 证 明 , 可 见 如 果 é 不 是 随机 变量 ， 而 是 在 某 可 测 空 间 (Е,&) 
取 值 的 随机 元 , 则 其 结论 仍然 成 立 ， 在 后 一 种 情形 下 , 估计 量 pw = (х) 应 理解 为 
Z/ BR) – 可 测 函 数 . 

现在 , 假设 (5, п) 是 服从 高 斯 分 布 ( 正 态 分 布 ) 的 随机 向 量 , 并 讨论 wo*(z) 的 结 
№, 其 中 (4) 式 为 二 维 正 态 分 布 的 密度 . 

由 87 中 (1),(4) 和 (18) 各 式 知 , 条 件 概率 分 布 密度 fie(y|z) 为 

О ое 00 т (2))2 
其 中 
m(x) = M + 2 р(х — mı). (8) 


那么 , 由 87 定理 3 的 系 , 可 见 
ЕЕ =з) = | ~ yfaelulz)dy = m(z), (9) 
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D(nlé = z) = {в — Е(тЕ = £) E = =} 
= | l- mla) fnelole)dy = 030 — 22) (10) 


注意 . 条 件 方差 D(mlt = z) 不 依赖 于 z, 因此， 
А = Efn – E(t = z)? = 02(1 - p°). (11) 


公式 (9) 和 (11) 是 在 假设 De > 0,07 > 0 条 件 下 得 到 的 . 假如 De > 0, 而 
Dn = 0, W (9) 和 (11) 两 式 显 然 成 立 . 

Т, 得 到 下 面 的 结果 (对 照 第 一 章 84 的 (16) RA (17) Ñ). 

定理 2 ( 正 态 相关 定理 ) (En) 是 D&E >0 的 高 斯 EA) 随机 向 量 . 由 上 对 
n 的 最 优 估 计量 是 : | 


ве) = Ел + “ДУ (Е — Be) 12) 
ИЕ | 
А = Ejn – Е(1|&)|° = Dn – Баш (13) 


注 2 曲线 y(z) = Е(}|& = х) Rin A EEKAN ATEKA. 在 正 
态 情 形 下 Emlt = т) = ат +b, 因而 т 关于 с 的 回归 是 线性 的 . 因此 第 一 章 84 中 ， 
对 于 最 优 线 性 估计 及 其 误差 , (12) 和 (13) 式 的 右 侧 与 (16) 和 (17) 式 的 右 侧 对 应 相 
T, МЕЛА. 

Ж 设 sl 和 so 是 均值 为 0 和 方差 为 1 的 独立 正 态 随机 变量 , 而 


& = 4181 + 20285, N= є 十 боё». 


那么 ,Et = En = 0, DE = а? + aż, Dn = b? + 52, соу(&, 7) = aibi + ао, m LÆ 
а? + а? > 0, Я] | 


Q101 + а262 


Е = 14 

(118) a2 Fa? £ (14) 
_ (а162 — a2b1)° 

А = = Ê+ | (15) 


З. 随机 变量 的 函数 的 分 布 假设 一 个 随机 变量 是 另 一 个 随机 变量 的 函数 . 现 
在 , 讨论 求 随机 变量 函数 的 概率 分 布 的 问题 . | 

设 随 机 变量 с НВА Fe (х) (如 果 它 有 密度 , 则 记 作 fe(z)), ф = ф(х) 是 
某 一 博 雷 尔 函 数 , 而 7 = pE). 记 1, = (оо, у], №] 


Е, (у) =P{n < y} =P{o() € Iy} = Р{ € p(y) = / „Кш. 06) 
p~! 


68. 随机 变量 H ‚ 259 . 


于 是 , 随机 变量 7 = (6) 的 分 布 函数 Е, (у), 可 以 通过 随机 变量 & 的 分 布 函数 Fe(z) 


和 函数 р 来 表示 . 
例如 , Жол = 0 + b,a > 0, Д 
в) =Р е 00 (9). пт) 
В п = Е2, ШУТ y <0, 显然 Р, (у) =0, 而 对 于 y>0, 有 
Faly) = P{é < y} = P{- Vy SẸ < vy} (18) 


= Fe(VY) — Fel уу) + Р{& = -уу}. 
现在 考虑 求 密度 у (у) 的 问题 . l | 
假设 随机 变量 上 的 值 域 是 (有 限 或 无 限 ) 开 区 闻 了 = (а,Ь), 而 函数 y = р(х) 对 
于 ze 了 有 定义 、 连 续 可 微 , 并 且 是 单调 的 : 或 严格 单调 增加 , 或 严格 单调 减 小 . 此 
外 , 假设 о (х) 20, ТЕГ. | 
记 №(у) = у (у), 并 且 不 失 普 遍 性 假设 p(x) 严格 增加 . WA, 对 于 y € {p(x): 
тєг, Я — 


Е. (у) = Р{7 < у} =Р{щ(&)<у}=Р{ё&< р Ку} 


Һу) (19) 
=р( ну) = | Абд 
根据 86 练习 题 15, 
й (у) у 
| fads = | FEH одаг (20) 
因此 
| fn(y) = felhly))h (y). (21) 
类 似 地 , 如 果 2(z) 严格 减 小 , 则 
(у) = felly) (А (у)). 
于 是 , 在 两 种 情形 下 都 有 
falu) = «(Щи (0). (22) 
例如 , Ж п = аё + 0,а 30, 则 
_ у—ф _ 1 у — б 
мә = 07, л) = т (22). 
ШЖ & ~ М(т, 02), Ш п = её, 则 由 (22) Ж, 有 
1 (у/м)? 
no-l уот) Жо а 
0, # y < 0, 
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其 中 М =e”. 

以 (23) 式 为 密度 的 概率 分 布 称 做 对 数 正 态 分 布 . 

如 果 函 数 y = у(х) 不 是 严格 增加 或 严格 减 小 的 , 则 (22) 式 对 于 п = pE) 不 能 
H. 不 过 , 对 于 许多 应 用 , 其 如 下 推广 就 完全 够 用 . 

WAK p = ф(х) 定义 在 集合 >》 1[ak， bk] Е, 并 且 在 每 一 个 开 区 间 1 = (ак, bk) 
上 连续 可 微 , 以 及 或 者 严格 增加 , 或 者 严格 减 小 , 并 且 р(х) 2 0,х Е 1. 此 外 , 假设 
hk = Вк(у) Ж ф(х), = € Ir ИЖ. ЖА, (22) 式 如 下 推 厂 : 


(у) = У ‚ /е(Һк(и))\Һь(у)|1р„ (0), (24). 
k=1 

其 中 р, 是 函数 А, (у) 的 定义 域 | 

例如 , 看 7 = 2, 则 设 = (-00,0), [2 = (0, оо), 得 № (у) = 一 Vy,hz(y) = vy, 
因而 

万 
0, Ж у <0. 

注意 , 由 于 Р{Е = 一 Vy} = 0, 这 一 结果 亦 可 由 (18) АЗ. 特别 , 如 果 Е ~ N(0, 1), 
则 


1 
0) = | элу ЈУ) + &(-/У)], Ж у> 0, (25) 


l _у 
fe (u) = | ту > (26) 
0, Ух 0. 
经 不 复杂 的 计算 亦 可 得 到 : | 
| fely)+fe(-y), Ж у> 0, 
fieu) = É 若 y<0. (27) 


9 2 __ „2 
f, /ay) = Гл ) + (у), жЕ (28) 


4 随机 变量 多 元 函数 的 分 布 现在 考虑 多 个 随机 变量 的 函数 
ЖЖ ЕЖ n ЖАРУ Ру (т, у) 的 随机 变量 , 而 р = yl, y) 是 某 一 博 
ERA, 则 立即 可 以 得 到 < = ol, n) 的 分 布 函数 : 


Е) = | АЕ, (ж, у). (29) 
{ (2,0):ф(2,3)<2} 
例如 , 如 果 ф(т,у) =x +y, М Е Жи Ж (ИП Ре (х,у) = Fel) Е, (у)), 则 利用 
НУВ Е, 有 


Fe(z) = аР(ж)4Е,() = | Панус) (о, 0а ЈАР, ly) 


Javana 
j Г. ш ГА (ety) (т, дауу) = J р F(z — х)аЕ, (х). (30) 
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类 似 地 可 得 _ 
Fele) = | Fle — ағу) (31) 


对 于 两 个 分 布 函数 Е M С, 函数 
H(z) = Г. F(z ~ х)ас(х) 


通常 记 作 FG, ЖИЙ ЕР ЯП С ЖЖ. 
XIF, 两 个 随机 变量 《与 也 之 和 (5 一 < 十 7 ОРЖ Ес, 是 它们 分 布 函 数 Е 
5 Е, ЖЯ: 
Бе = Fe x Fy. 
显然 , 这 时 Fe x Fy = Fy ж Fe. 
现在 假设 独立 随机 变量 上 和 7 各 自 有 密度 fe у. 那么, 仍然 由 傅 比 尼 定 理 
及 (31) 式 , 有 


ва = | [оаа мы S | [лба оз бду 
р Г. ГА felu — дла) du. 


由 此 , 得 
felz) = J felz — y) fy (y)dy, (32) 
同 理 , 有 
felz) = 人 Не-а. (33) 
下 面 举 几 个 应 用 这 些 公式 的 例子 


В 61,€2,… ,én 是 独立 同 分 布 随机 变量 序列 , 其 共同 的 密度 是 在 [—1,1] 均匀 分 


布 密度 : ‚ 
0, Ж|л|>1. 
ЯВА, 由 (32) 式 , 可 见 


2 – |T| 
т, ФГ T < 2, 
Је + (2) — | 4 | | 


F ш > 2, 
(3 — 121) 
/е\+ёз+&з\®) = \ 3 =, Ж 0 < || < 1, 


0, Ё |z| > 3, 
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而 由 归纳 法 , 可 见 对 于 一 般 情形 , 有 


1 Е 
fetten (T) = | m(n — 1)! 


0, Ф |z| > п. 


WER 上 ~ №М(пи, 02), п ~ №(то,о2). FR 


p(x) = J *. 
则 
о (ет) мо 2 (2) 
由 (32) 式 , 得 


| 


fetn(T) = |. 
ИР уно“ VA 


2 
У (1) (п + - 2)" 1, 车 |z| <n, 
k=0 


РЖ, 两 个 独立 正 态 随机 变量 之 和 , 仍然 是 正 态 随机 变量 , 其 均值 为 mi 十 mo2, 而 


方差 为 of +o. 


设 21, 22,... ,én 是 独立 同 分 布 随 机 变量 , 都 服从 均值 为 0, 方差 为 1 的 正 态 分 


布 . 那么 , 由 (26) 式 (用 归纳 法 ) 不 难 求 出 
1 


р 
езе (т) = 29 202/2) 


n „ Е 
21-2, Фр 0, 


(34) 


随机 变量 21+... +2 通常 记 作 2, 而 其 概率 分 布 称 做 自由 度 为 n 的 x2 分 布 


(“ 卡 方 ” 分布 ) (对 照 83 表 2 - 3). 
如 果 记 xn = + /ха, 则 由 (28) 和 (34) R, 可 见 
-le , Fr > 0, 


2 п 
falo) = | ОРИ 


具有 此 密度 的 概率 分 布 , 通常 称 做 自由 度 为 n 的 x 分 布 〈“ 卡 ”分 布 ). 
仍 设 独立 随机 变量 上 * 和 7 各 自 的 密度 为 fe 和 fn ЖА, 


Еһ) = || лел 


{(ж,у):ту<2} 


Е) = || fidrdy 


{(т,и):ж/у& 2} 


(35) 
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由 此 , 不 难得 到 
Ўєп(2) -| f TE ) no” = J f (= 2) леа). (36) 
和 OO 
(2) = f felev) far (Wyldy. (37) 
在 (37) AP, 设 
SE 


& = бо, 7) = n 
其 中 如 ,与 ,6 БИН 0. УЖ о? > 0 ИЖЕ h (35) 式 , 可 


Г п+ 1 ын 
(ж) = йын, (з + >) | (38) 


其 中 随机 变量 


人 1 十.… t ER) 
习惯 上 用 t 表示 , 相应 的 分 布 称 做 t 分 布 或 “学 生 ”(Student) 分 布 @ (WR 83 Е 
_ 3). 注意 , 该 分 布 不 依赖 于 о. 
5. 练习 题 
1. 验证 公式 (9), (10), (24), (27), (28), (34) ~ (38) 的 正确 性 . 
2. 设 21, &2,.-. ‚бп > 2 是 独立 同 分 布 随机 变量 , 其 共同 的 分 布 函数 为 К(х) Е 
如 密度 存在 , 则 记 作 f(z)). W E= тах{&,..., 8}, = шіп, р = Е. 
证 明 
(Е(у))" — [Е(у) – F(a)", Жур =, 
02) А Жуст, 


n(n 一 — F(x)? T 
из) = fr DE (y) — Р(в ?f(z)f(y), о> 


Е, (2) = | ， /ro - Fly ~ 2)" "ду, # т >0, 
0, т< 0, 


пп 1) | IF) -Fly 29097270 - Уд, È т> 0, 
folz) = Уфо 
О, E T < 0. 
ОРЕ (W. S. Gosset, 1876—1937) 是 最 早 创 立 上 分布 的 英国 统计 学 家 、 化 学 家 、 推 断 统 计 学 
派 的 先驱 者 , 发 表 有 关 论 文 时 使 用 的 笔名 是 Student, 因此 t 分 布 亦 称 “ 学 生 分 布 ”. WRT 1908 


年 《生物 统计 学 》(Biometrika, 亦 译 《 生 物 计 量 学 》 ) 上 发 表 的 论文 “平均 值 的 可 能 误差 ”中 首先 
提出 了 ЕЛ, 并 且 描 绘 了 其 性 质 . 一 一 译 者 
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3. Ма, 和 = 是 独立 的 泊 松 随机 变量 , 其 参数 相应 为 А, 和 л». ЧЕН &, + & 1 
然 服 从 油 松 分 布 , 参数 为 Xi 十 А. 

4. 在 (4) 式 中 设 Mı = тә = 0). 证 明 

dia 1 一 р? 
л(0522 — 201022 + тї) 

5. В р" (ё, п) = sup, „ Pulé) (п), 其 中 对 使 相关 系数 p(w(&),v(m)) 有 定义 的 一 
MEERA u = ulz), v = vle) ЖЕ (sup). р*(&, 1) ЖЖ С ЛП 的 最 大 相关 系 
ж. 证 明 随 机 变量 上 和 у 独立 , АНИ lEn) = 0. 

6. М м, та... ,Tn 是 独立 同 分 布 非 负 随机 变量 , 都 服从 参数 为 А 的 指数 分 布 ， 
其 共同 的 密度 为 


Їе/т(2) — 


Р) = Ае #20. 
证 明 , 随机 变量 т, ло +... +, 的 分 布 有 密度 : 

АЕК 16А 

061) і 之 0, 


+В 
k—1 
-at (20) 
ричи +т >} = д уе 一 


7. 设 上 ~ №(0, 02). 证 明 对 于 任意 p 1, 


2P/2? /p+1 
р — Г р 


Ш OO 
Г(в) = ] rs le “ах 
0 


是 欧 拉 (L. Eular) Г 函数 . 特别 , 对 于 任意 n> 1, 
ЕЕ?" = (2n — 1)102". 


8. БИ © 和 7 是 独立 随机 变量 , РН ЕТУ 的 分 布 与 的 分 布 是 同一 分 布 . 证 
明 n = 0 (а.с.). 
9. 假设 (X,Y) 在 单位 图 {(x,y) : 12 +y? <1} 上 有 均匀 分 布 , 记 W = X2 + 了 2， 


| 2inW | 2ШИ’ 
U = X -一 一 一 一 一 一 у = — , 
и | Y W 


ШЕВ, U 和 是 独立 N(0,1)- 分 布 随机 变量 . 
10. КОЖУ 是 独立 同 在 (0,1) 均匀 分 布 的 随机 变量 . 定义 


X = у – ШУ соѕ(270), Y = у – ІУ ѕіп(2717). 
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证 明 , X 和 是 独立 (0,1) 分 布 随机 变量 . 

11. 举 一 例 子 : £ 和 是 正 态 随机 变量 , (BE E+ 不 服从 正 态 分 布 . 

12. 设 Xi Xn 是 独立 同 分 布 随机 变量 ,其 共同 的 密度 和 分 布 函数 相应 为 
f= f(x) ЖЕ = F(z), 而 | 


Bn = max{ Xi, e ,Xn} — min{ Xi, e, Xn} 
是 样本 (X1,.… ,X,) 的 “ 极 差 * 证 明 随机 变量 2n 的 密度 fa (zj,z > 0, 为 


fa о) = в - 0 | FW -FU - эл -ady 
特别 , 对 于 在 [0,1] 上 均匀 分 布 的 随机 变量 Xi, Xn, 


n(n — 1)х7-2(1-х), ЖО<х<1, 
0, ЖЕ т< 0 ть 1. 


13. & Р(х) 是 分 布 函数 . 证 明 , 对 于 任意 a > 0, 下 列 函 数 也 是 分 布 函数 : 
т+а т-+а 
(х) = - ] F(u)du, G2(z) = >. ] Fodu 


14. 设 随机 变量 X 服从 参数 为 > 0 的 指数 分 布 (fx(z) = e,r > 0), 求 随 
机 变量 了 = X19,a > 0 的 概率 密度 (相应 的 分 布 称 做 韦 布 尔 [W. Weibull] 分 布 ). 

设 入 = 1. 求 随机 变量 了 = In X 的 分 布 密度 (相应 的 分 布 称 做 双 指 数 分 布 ). 

15. 设 随机 变量 X МУ 的 联合 分 布 密度 f(z,y) 形 如 /(т, у) = 9(/т? + у). 

(а) 求 随 机 变量 p = VX? +Y? 和 6 = tan-1(Y/X) 的 联合 分 布 密度 , 证 明 p 和 
Ө JRZ. 

(b) & U = X cosa +Y sina Ж V = -X зша +Y cosa. 证 明 随 机 变量 上 和 
У 的 联合 分 布 密度 与 f(x,y) 相同 . (这 反映 “随机 变量 X ШУ 的 联合 分 布 关 于 Е 
转 ' 的 不 变性 ”这 一 事实 .) 

16. 设 Х,,...,Х, 是 独立 同 分 布 随机 变量 ， 其 共同 的 密度 和 分 布 函数 相应 为 
f = f(z) ЖЕ = F(z), іа (对 照 练习 题 12) Ха) = тицхь,.--,Х,} ЖХ, Xn 
的 最 小 值 ， Хо 是 第 二 小 值 , 等 等 ， Xin) = max{X1,… ,Xn} Æ X1,… ,Xn 的 最 大 
E (这 样 定义 的 随机 变量 X(j),… Xm 称 做 随机 变量 Xi Xn 的 顺序 统计 量 ). 
证 明 : 

(а) 随机 变量 X 的 概率 分 布 密度 为 


nf (а) Са Е (а)]%— [一 PC 


Јав, (т) = | 


(ZI ,Xn) = (0 < Tn, 
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17. 设 Xi ,Xn 是 独立 同 分 布 随机 变量 , 且 都 服从 正 态 分 布 (и, с?). 设 


7} 


1 __ 1 
2 _ 2 — 2 | 
52 = — 2 (А, Хх)? #ĦPn>l, X - 2. X;, 


则 随机 变量 X 和 S 分 别称 做 样本 均值 和 样本 方差 , 证 明 : 

(а) ES? = ø? ; 

(b) X 和 52 独立 ; 

(с) X ~ М(и, 0? /п), М (п – 1)52/02 服从 自由 度 为 n 一 1 В x 分布. 

18. 设 Xi, , Xn 是 独立 同 分 布 随机 变量 , N(N =1,2,...) 是 不 依赖 于 X1,:…， 
Xn 的 随机 变量 , H EN < оо, ОМ < œ; Sy = Ху +... + Ху. 证 明 


ә DSw DX, DN 
05у = DXIEN + (EX1):DN, ES, = ЕХ, + ЕХ! EN 
19. % M(t) = 了 et 是 随机 变量 X КЖ. 证 明 对 于 任意 上 > 0, 有 Р{Х > 


0} < M(t). 
20. 5 X, Xi, , Xn 是 独立 同 分 布 随 机 变量 , Sa = Xi +... + Хр, So = 0, 而 


М, = шах 5), М = вир Sn. 
0575п п>0 


证 明 
(а) 对 于 n> 1 М, 和 (Mnri + Х)+ 同 分 布 ; 
(b) 如 果 Sn 一 co(P — а.с.), W М 和 (М +X) 同 分 布 ; 
(с) 如 果 -oo < EX < 0 Н ЕХ? < оо, ЙІ 


— РХ -0(5 + Х)- 
ЕМ = 一 一 一 一 一 一 一 一 . 
—2ЕХ 


21. 在 上 题 的 条 件 下 , 对 于 任意 s > 0, 设 
М (є) = sup(Sn — пе). 
п 20 
证 明 Dy 
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1. 具有 给 定 分 布 函 数 的 随机 变量 存在 性 R E = Elw) 是 概率 空间 (Q, |Р) 
上 的 随机 变量 . 而 
(тж) = P{w : Elw) < т} 


是 其 分 布 函数 . 自然 , 在 83 定义 1 的 意义 上 , Р;(х) 是 数 轴 上 的 分 布 函数 . 
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现在 提出 如 下 问题 . 假设 F= F(x) 是 及 ЕЕ ЛЖИЖ. 问 是 否 存 在 以 F(x) 


为 分 布 函数 的 随机 变量 ? | 
证 实 问题 的 这 一 提 法 的 一 个 理由 如 下 . 许多 概率 论 的 命题 从 如 下 的 句子 开始 : 
“Ж ERDA ARKA F) 的 随机 变量 ， 则 o "”， 因 此 , 为 使 类 似 的 论断 有 意义 ， 


应 该 确信 记 考 虑 的 对 象 确实 存在 . 由 于 为 给 出 随机 变量 , 应 先 给 出 其 定义 域 (F); 
而 为 了 提起 其 概率 分 布 , 应 该 有 (QF) 上 的 概率 测度 Р. TE, 关于 具有 给 定 分 布 
函数 (x) 的 随机 变量 存在 性 的 正确 提 法 是 : 
是 否 存 在 概率 空间 (QF, P) 和 此 概率 空间 上 的 随机 变量 上 = Elw), 使 
Р{ш:&(ш)< x} = F(z)? 


现在 证 明 , 对 于 所 提问 题 的 答案 是 肯定 的 , 其 实 答案 已 经 包含 在 83 的 定理 1 Н. 
事实 上 , 设 | 
О= К, Я = BR), 
那么 , 由 53 的 定理 1 可 见 , 在 (R,. 多 (RKR)) 上 存在 (并 且 唯 一 ) 概率 测度 Р, 使 对 于 任 
Æ a <b, P(a,b] = Е(Ь)— F(a). 
设 Elw) =w. ЖА, 


P{w:é(w) < т} =Р{ш: и < 2} = Р(-оо, 2] = F(x). 


TE, 建立 了 所 要 求 的 概率 空间 和 随机 变量 

2. 具有 给 定 有 限 维 分 布 的 随机 过 程 的 存在 性 ”现在 对 于 随机 过 程 提 出 类 似 的 
问题 . 

УТ іЄТСК, RX = (iher 是 概率 空间 (0,Я,Р) 上 的 随机 过 程 ( 见 85 Œ 
Х 3). | 

按照 物理 的 观点 ， 随 机 过 程 最 重要 的 概率 特征 是 其 有 限 维 分 布 函 数 族 
(Fa, stn (21, 07 ‚Тпв)}: 

Eti, tn (T1, s. , Tn ) 一 P{w : Et < 21, , Ct, < Ent, (1) 
其 中 对 于 一 切 数组 би, <... < tns Pti, tn (cl -.: , Tn) 是 给 定 的 . 

由 (1) 式 可 见 ， 对 于 一 切 数组 бту" ,tn (#1 <... < tn) Е... (21, n. Tn) 是 n 
AMRA ( 见 53 定义 2), 而 且 分 布 函数 族 {Fa ta (Zz1,… ,Zn)} 满足 如 下 一 致 性 
条 件 ( 见 83 (20) =): 

Е... stk, tn (тт, ОО, т, Tn) 
= Fi, ЕТК, tn (21, 1 ‚26-1, Čk+1, C. , Tn). (2) 
现在 ， 自 然 地 提出 这 样 的 问题 ; 分 布 函数 Е. (zi… ,zn) Ж {F 


tn (т1, ,Tn)} (М 833 ЖХ 2), 在 什么 条 件 下 可 以 做 某 一 随机 过 程 的 有 限 维 分 布 函 
ЖОК? 非常 出 色 的 是 , 一 致 性 条 件 (2) 可 以 穷尽 一 切 附加 条 件 . 
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定理 1 ( 柯 尔 莫 戈 洛 夫 关 于 过 程 存 在 定理 性 ) Я {Fn в (TEn) 是 给 
定 的 满足 一 致 性 条 件 (2) ЖИЛАЯ, 其 中 ti ET C К, п> 1,6 <t 
<- <tn ЖА, AREZ (0,Я,Р) 上 存在 随机 过 程 = (& ст, 使 


P{w : En S Ty bt, < Tn} = Fh,- „(Ф1, En) (3) 


证 明 1 
о=ЮЕ', Я = BRT). 
即 作 为 空间 О 取 实 函数 的 空间 w = (е) ест, 而 Я 取 由 柱 集 生 成 的 o- 代数 . 
设 т = 1,22, ... tn], ti < ta < <L tpn. ЖА, 根据 $3 定理 2. 在 空间 
(R",. 多 (R")) 中 可 以 建立 (并 且 是 唯一 的 ) 概率 测度 已, 使 


P { (w, Wt, ) ‚А, < 1, Wtan < Tn} = Fe в, (£1, , Tn ). (4) 


由 一 致 性 条 件 (2) 可 见 , 概率 测度 {P.} 族 也 满足 一 致 性 条 件 ( 见 83 的 (20) 
A) 根据 53 的 定理 4, 在 空间 (RT, ART) 上 存在 概率 测度 P, 使 对 于 r = 
[с tnl, ti < 


P{w : (wn, ,wr,) € B} = Р,(В). 


加 下 的 随机 过 各 
Elw) = ил, ЄТ. (5) 
口 
1 上 所 建立 的 概率 空间 (R°, BR”), P) 常 称 做 标准 的 , 而 由 (5) 式 表 示 随 机 
过 程 方法 常 称 为 建立 过 程 的 坐标 方法 . 
+2 (Ea Ea) 是 完全 可 分 度量 空间 , 而 a 属于 任意 下 标的 集合 u. 设 {P} 
н (Bo х х Ес, ба, 99 Ean) 上 的 有 限 维 分 布 函数 族 : Р,,т = [ti tn]. 
入 存在 概率 空间 (Q, F, P) R F/G 可 测 函 数 族 (Xa(w))aeu, 使 对 于 任意 
кн an) 和 Вє&,®--®%&„,Ж 


P{(Xo,,... ,Xo ) € B} = Р,(В). 


ті. 


如 果 对 于 每 一 个 w= (waha єй, 8 Q9 = [| Ea, F = Н, МХ. (ш) = wa, M 
这 一 结果 由 53 的 定理 4 得 到 , 而 它 推广 了 定理 1 的 命题 . 

系 1 H Flr), Р(х), 是 一 元 分 布 函数 序列 . ЖА, 存在 概率 空间 (О.Р) 
和 独立 随机 变量 序列 61, 20,..., 使 


Р{:ё&(ш)< z} = F(z). _ (6) 
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特别 , 存在 概率 空间 (ОУ Р), Ж (О, Р) 上 定义 了 无 限 伯 努 利 随机 变量 序列 (№ 
见 第 一 章 85 第 2 小 节 ). 这 里 , 作为 可 以 取 空 间 : 
О = {w: w = (а1, а2,..:), в =0,1} 

(参见 定理 2). 

为 证 明 该 系 ， 只 需 设 Fi- „(21, +з Tn) = Е! (ту) e ‚ Ел(®л,), 并 是 应 用 定理 1. 

R2 ЖТ= 0,0), 而 对 于 s,t ET,t > s,z € ВВ Е.Е). {Р(з, ть В)} Ж 
ЗЕ в ЖЖ, 并 且 满 足 条 件 : 

а) 对 于 国定 的 szit P(s,Zz;t,B) Æ В 的 概率 测度 : 

b) 对 于 固定 的 s,t 和 В, P(s,ZX;t,B) Ах ИНЕТА; 

с) Я — 0 < з<+<т№ВЕ. (В), ЖАНЕ ХК 一 查 普 要 方程 : 


Р($,т;т, В) = | Ра у; т, В). (7) 
R 


此 外 , 假设 r= rl) Ж (R, BR) 上 的 概率 测度 . 
ЯК, 存在 概率 空间 (О.Р) иж X = (&i)jtzo, 使 对 于 0 = to <t 
< … :< 如 ,有 


Р{& < 20,6 S T1, Etn S En} 


To 21 Ти 
= | (бо) | Р(0, yotdi): f Р(&-1, Yn-1; tn, dyn). (8) 
— OO — со 一 Ge 


这 样 建立 的 过 程 Х 称 做 马尔 可 夫 过 程 , т 称 做 其 初始 分 布 , 而 {Pls,zitb B)} ж 


”做 过 程 的 转移 概率 族 . 


ЖЗ ЕТ = {0,1,2,...} WF k> 1,x сЕ, В є .@(8), {Р,(х; B) 是 非 负 
Ж, 并 且 (对 于 固定 的 大 和 r) P(x; В) 是 В 的 概率 测度 , 而 (对 于 固定 的 大 和 
В) P(x; В) Ж х 的 可 测 函 数 . 此 外 , 假设 п = п(.) 是 (Е, ER) 上 的 概率 测度 . 

ЖА, 可 以 建立 概率 空间 (Q, F P), 使 对 于 (Q, Р) 上 的 随机 变量 旋 X = 
(20, &,---), 有 


Р{& < To, &1 < 11, .:. , En < Tn} 


а J r (dyo) / Ру (уо; и) --. / Р, (уа 1: dyn). 
~—00 —со 一 cc 


З. 测度 的 开拓 和 随机 序列 的 存在 性 ШЖ 1 知 ， 存 在 分 布 函数 相应 为 
Fi, Fz, 的 独立 随机 变量 £, £2, 序列 . | 

MWER (Е1,&1), (Е›,&2),... 是 完全 可 分 度量 空间 , Ш P, Р... PERES. 
间 上 的 概率 测度 . 那么 ， 由 注 2 可 见 , 存在 概率 空间 (9,9, Р) 和 独立 随机 元 序列 
Xi, Хо, --., E Xn Я 多 /名 i, 一 可 测 , Н Р{Х, є В} = Р,(В), В є&,. ЖЕ 4 
(En En) 是 任意 可 测 空 间 时 . 这 一 结果 仍然 成 立 . 


定理 2 (图 尔 恰 П. Tulea] 关于 测度 的 开拓 和 随机 序列 的 存在 性 ) Я (Qha, 
1),n = 二 1,2,.. 是 任意 可 测 空间 ,Q =ПО,,Я =H Fn BHE (91,91) 上 给 
定 概 率 测度 Pi, 而 对 于 (Wy Wn) Е @ =Ях...х Оп > 1, 在 (Anti F n41) 
上 给 定 概率 测度 Plwm) 并 且 对 于 每 一 个 BE # „1, Р(ио,---,шь; В) 是 
(oa ,Wn) ATA AR. 对 于 AEF an> R 


Pal A X xX Аһ) = f, Раа) 人 Pondo 人 Р(ил, ‚шь; оь). (9) 
ЖА, Æ (90,9) БДВ ФР, 使 对 于 任意 nn 之 1 
P{w :wi Е А1,... ,wn Є An} = Р,(А х... х An), (10) 
并 存在 随机 变量 序列 X = (X1(w),X2(w),…), 使 对 于 А, Є, 
P{w : Xi(w) Е A1, ,Xn(w) Е An} = Р„(Аү х...х An). (11) 


证 明 1) 证 明 的 第 一 步 : 对 于 每 一 个 n > 1, 证 明 由 (9) АЛЕ “РР” А, х... ХА, 
上 给 定 的 集 函 数 Р,, 可 以 开拓 到 o- 代数 F188...@BF ,上 . 
为 此 , 对 于 每 一 个 n>2 和 BeF1®@...®@F,, 设 


Рь(В) = ] Рал) | Роб) | P(w, ,wn-2; Яшь) 
1 2 1 


ТЕ — 


х | TB(w1,: `` Wn- Wn) P(w, ,Wn—1; dwn). (12) 
О 


М, 对 于 B= A xx An, (12) 式 的 右 侧 与 (9) 式 的 右 侧 相同 . 此 外 . 对 于 
п = 2. 如 同 $6 的 定理 8, Р, 是 测度 . 于 是 , 利用 归纳 法 容易 证 明 , 对 于 每 一 个 n > 2, 
PP, EWE. | 
2) 证 明 的 第 二 步 : 与 关于 在 (R, BR) 中 测度 开拓 的 柯 尔 莫 戈 洛 夫 定理 (53 
定理 3) 相同 . 具体 地 说 , 对 于 任意 柱 集 (В) = {w € О: (w, wn) € В B є 
Fig- OF pn, 利用 等 式 
Р(ЛҺ(В)) = Р„(В) (18) 


Ж ХЕ Р. 由 (12) Ñ, ИМ P(wi,… w) EWE, 容易 证 明定 义 (13) 具有 一 


致 性 : Р(Л.(В)) 的 值 不 依赖 于 (13) 式 中 柱 集 的 表示 方法 . 
由 (13) 式 在 柱 集 上 定义 的 集 函 数 P, 显然 也 是 定义 在 包含 所 有 柱 集 的 代数 上 的 


- ЖР. 由 此 可 见 , 集 函 数 P 在 此 代数 上 是 有 限 可 加 测度 . 只 剩 下 验证 集 函 数 P 


在 此 代数 上 的 可 数 可 加 性 , 然后 应 用 卡拉 秦 奥 多 里 定理 . 

ТЕ 53 的 定理 3 进行 过 上 面 提 到 的 证 明 ; 证 明基 于 空间 (R",. 多 (R")) 的 如 下 性 
Ж: 对 于 每 一 个 博 雷 尔 集 В, 存在 测度 任意 接近 в МЕНЕ АСВ. 对 于 现在 
的 情形 . 这 一 方法 有 如 下 形式 变化 . | 
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像 83 的 定理 3 一 样 , 设 {В,} >, ВНЖ o 的 柱 集 序列 ， 
В, = {w : (w1, Wn) Е Bn} 


但 是 | 
im P(B,) > 0. (14) 


ЕН (12) 式 可 见 , УР n > 1, 有 
p(B,) = | FP (wi) Pi (дә). 
其 中 


ДӨ (ия) = | Ро; а) =. | Тв, (Wi, , Wn-1; Wn) P(w, , Wn—1; dwn). 
02 Ол 


由 于 Вы C В„. 则 Bn+1 C Ban X Onti- 因而 TB, 1(W1,* тт) < Гв, (ил, .. ‚ 
wno (та). 因此 . 函数 序列 {有 (олт) а> 是 减 小 的 . 设 

fP (шл) = lim Ў) (ол). 
那么 , 根据 控制 收敛 定理 


lim Р(В„) = lim ] FP (и) Р (аал) = J. FP (ал)Р (ал). 


根据 假设 , lim, Р(В,) > 0. 由 此 可 见 , 由 于 车 wi ¢ В, 则 对 于 所 有 n > 1, 
(ил) = 0, WFE w? є Bi, 使 fH (00) > 0. 
其 次 , 对 于 n> 2, 


f(D (w?) = f FO (w2) Pwt; до), (15) 
О» 
其 中 
FP (из) = | P(wi,w2i dwg): 
$23 


В | Ів, (wi, 69, , Wn ) P(w], и, >>. ;On—1; dwn). 


т 


НАЯ {08 (ур 的 情形 一 样 , 证 明 序列 { 4?! (wo)} 是 减少 的 . 设 
FP (аә) = lim FP (wa). 
ЖА. 由 (15) A, 可 见 


0 < f (0) = ] fO (и»)Р(ш%; ди»), 
$22 


‚ото. шж Е 


HFEA wl Е О», WE 0) (00) > 0. 这 时 (0,9) Е 号 ?继续 这 一 过 程 , 对 于 任意 
n 之 1, 存在 点 (w0, w8) є Bn. 从 而 , 点 (w, w,- o) Е ПВ». 但 是 , 根据 假设 
ПВ, = е. 出 现 的 矛盾 说 明 lim, Р(В„) = 0. 

TE, 定理 涉及 概率 测度 P 存在 性 的 部 分 得 证 . / 

3) 定理 的 结尾 部 分 显然 可 以 由 上 面 的 结果 得 到 ， 为 此 只 需要 设 Х, (4) = wn, 
п > 1. Ш 

#4 Ж (EnEn) 是 任意 可 测 空间 , (已 ,)。>1 是 该 空间 上 的 概率 测度 . 那么 ， 
存在 概率 空间 (QF, P) 和 相应 地 取 值 于 可 测 空间 (E1, 81), (Е2,$2),... 的 独立 随 
机 元 族 Xi, Хә, -·-, ЖА. 


P{w : Х„ (ш) є B} = Р, (В), ВЕб,, пр 1. 
Ж5 H E= {1,2,...}, {рк(т,у)} >1,х,ує E яа, 并 且 满足 


Уу рь(х, у) =15еЕЕ,К21. 
УЕЕ 
此 外 , A r= nl) 是 Е ЕНЖЖАЖ (ala) > 0,У`„ект(ж) = 1). 
ЖА, 存在 概率 空间 (QF, P), 且 在 此 空间 上 存在 随机 变量 族 久 == {6,&,...}, 
使 对 于 一 切 Zi E En 2 1, 有 


Р{& = 20, & =21,...,& = Tn} = п(20)р1 (хо, 11) PnlEn—1, Tn) (16) 
(对 照 第 一 章 812 之 (4) A) 作为 空间 Q 可 以 取 
Q = {w : w = (To, £1, ), 2; ЕЁ}. 


满足 (16) 式 的 随机 变量 序列 X = {é&0,&1,…}, 称 做 具有 可 数 状 态 集 E 的 马尔 
ГК, {рь(т,у)} 称 为 其 转移 概率 矩阵 , 而 称 为 其 初始 概率 分 布 r. (对 照 第 一 章 812 
的 定义 , 以 及 第 八 章 51 的 定义 .) 

4. 更 新 过 程 ” 柯 尔 莫 戌 洛 夫 定理 (定理 1) 指出 了 , 具有 给 定 有 限 维 分 布 函数 的 
过 程 的 存在 性 .这 时 , 定理 的 证 明 用 到 典 则 概率 空间 , 而 构造 过 程 使 用 坐标 式 方法 . 
这 本 身 就 说 明了 过 程 构造 的 复杂 性 . 

按 这 种 观 扣 , 在 尽量 少 地 使 用 “概率 结构 ”的 情况 下 , 构建 具有 给 定性 质 的 随机 
过 程 的 情形 会 引起 人 们 极 大 兴趣 . 

为 演示 这 种 可 能 性 , 我 们 现在 考虑 所 谓 更 新 过 程 . (其 特殊 情形 是 泊 松 过 程 ; 见 第 
二 章 610.) 

Ж (cl,c2,…) 是 独立 同 分 布 随机 变量 序列 , 其 共同 的 分 布 函数 为 Р = F(x). ( 
理 1 的 系 1 保障 这 样 随机 变量 序列 的 存在 .) 

ЕН (01,02,:… ) 序列 形成 新 的 序列 (To, Ti, ), 其 中 元 =0, 且 


Тр =су+ +++ с, > 1. 


59. 建立 具有 给 定 有 限 维 分 布 的 过 程 . 273 . 


为 直观 计 , 我 们 把 T RARE: 表示 第 п 个 质 挟 出现 的 时 间 (例如 , 电话 的 第 n 
КР). 那么 , cn 描绘 第 (п 一 1) 到 第 n ТЖ (B п АР) 持续 的 时 间 . 
习惯 上 把 随机 过 程 N = (№), о, 其 中 М, 是 (构造 性 地 给 定 的 ) 8 


№ = У. I(Tn < Ф), (17) 


称 做 更 新 过 程 . 
显然 , М 亦 可 和 定义 为 
М, = тах{п: Tn < +}, (18) 


Вр №, 是 出 现在 区 间 (0, 上 的 质点 (呼唤 ) 数 ; 这 时 显然 
{Ni > n} = {Tr St} (19) 


这 一 简单 的 公式 十 分 有 用 , 因为 它 可 以 把 对 随机 过 程 N = (Nizo 概率 性 质 的 
研究 , 归结 为 对 独立 随机 变量 cl, …… ,on(n > 1) ZM Ta = 01+... +0, 的 性 质 的 研 
究 (参见 第 四 章 83 第 4 小 节 , 以 及 第 七 章 82 第 4 小 节 ). 

由 (17) АЛАНИЯ №, 更 新 函数 m(t) = ENi(t > 0) 决定 于 分 布 函数 Е, (0) = 
Р{Т„ <t} ШЕ: 

m(t) = X Fn(t). (20) 
n=] | 

5. 练习 题 

1. ®% О = [0,1]. Æ [0,1 上 的 博 雷 尔 集 类 , P 0,1 上 的 勒 贝 格 测度 . 我 们 
称 空间 (QF, P) 为 “通用 的 ", WERF (QF P) 上 的 任意 分 布 函 数 Р(х), 可 以 
定义 一 随机 变量 = fw), 使 其 分 布 函数 Fele) = P{E < zj 恰好 是 Р(х). 证 明 空 
E (0,.2,Р) 为 “通用 的 ”. (提示 : Elw) = F-1(w), 其 中 F-1(w) = supfz : F(x) < 
w},0 <w<1, 而 &(0),&(1) 可 以 是 任意 的 .) 

2. 验证 定理 1 和 2 的 系 中 分 布 族 的 一 致 性 . 

3. 由 定理 1 导出 定理 2 的 系 2 的 命题 . 

4. 设 Е, 是 随机 变量 Т„(п > 1) 的 分 布 函数 (第 4 小 节 ). 证 明 


Ел+1(ї) = [ Е» (# — 8)4Е ($), п > НН Еу = Е 


5. 证明 РМ, = n} = Р, (0) — Е (В (И, (17) 式 ). 
6. 证 明 , 在 上 面 第 4 小 节 引 进 的 更 新 函数 mt) 满足 更 新 方程 


m(t) = Е(ї) + [ m(t — х)аР(хт). (21) 
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т. 证 明 , 在 有 限 区 间 上 有 界 的 函数 类 中 , 由 (20) 式 定 义 的 函数 是 方程 (21) 的 唯 
8 设 了 是 任意 集合 . 
(i) 假设 对 于 每 个 te Т, 给 定 一 概率 空间 (9, #,,Р,). в 


= |0, F= Н Я. 


ЕТ ЄТ 


证 明 , 在 (О, ) 上 存在 唯一 概率 测度 P, 使 


Р П в, 一 | Р(В,), 
ЕТ ЄТ 
其 中 对 于 除 有 限 个 之 外 的 一 切 下 标 t, В, Е ЕТ, В, = О,. (提示 : 这 里 P ФАН 
应 的 代数 上 , 并 利用 定理 2 的 证 明 方 法 .) 
(п) 假设 对 于 每 个 te Т, 给 定 可 测 空 间 (Ego 和 该 空间 上 的 概率 测度 P, 证 
明 存 在 概率 空间 (Q, F, P) 及 独立 随机 元 素 (Хет, 使 Х, 为 #,/#,— 可 测 的 , Н 


= Р4ХЕ B} = P(B), B€.. 


$10. 随机 变量 序列 收敛 的 各 种 形式 


1. 收敛 性 的 基本 类 型 ” 同 数 学 分 析 一 样 , 在 概率 论 中 也 需要 考虑 随机 变量 不 同 
形式 的 收敛 性 . 现在 , 讨论 如 下 形式 的 收 合 性 : 依 概率 收敛 , 依 概 率 1 А рН 
ВАХ, Бей Л КФ. 

从 定义 开始 叙述 . мс, Е1,2,... 是 某 一 概率 空间 (Q, F, P) 上 的 随机 变量 . 

定义 1 随机 变量 序列 &1,&,…. ( 亦 记 作 {Enh (5, а> B (En), (&һ)һ>1), ЖЖ 
依 概率 收敛 于 随机 变量 的 ( 记 作 En —— E), 如 果 对 于 任意 s > 0, 有 


P{lén - >=} 0, п оо. (1) 
我 们 已 经 遇 到 过 这 种 形式 的 收 全 性, 即 伯 努 利 大 数 定律 
Е >e) 0 n — оо 
(记号 见 第 一 章 $5). 在 数学 分 析 中 这 种 形式 的 收敛 性 , 称 做 依 测 度 收敛 
定义 2 随机 变量 序列 61, 5.,..., 称 做 依 概 率 1 (几乎 必然 或 几乎 处 处 ) 收敛 


于 随机 变量 E, ШЖ 
Pilw:én >» &} 0, п оо, (2) 


RIE с (о) KAF &(w) 的 结局 w 的 集合 的 概率 等 于 1. 
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这 种 形式 ( 依 概 率 1) 的 收敛 性 , 有 多 种 记号 : 
En > E(P — а.с.), BR En — Е(а.с.), В En —— E, В & 一 
定义 3 ”随机 变量 序列 6,cz,……， 称 做 p 阶 平均 收 语 于 随机 变量 &, 如 果 
ЕЕ» — EP > 0, п — оо. (3) 


在 数学 分 析 中 这 种 形式 的 收敛 性 称 做 ТР 收敛 . 因此 , (3) 式 可 写 为 6 М, Е. 
ЗЕЯ, Ягр = 2, 则 这 种 收敛 称 做 平方 平均 收 敏 (АВ ИЖ), WHE E = Lim.é, (Li.m. 
Æ “limit іп mean” 平均 极限 的 缩写 ). 

定义 4 随机 变量 序列 与 ,6 ……, 称 按 分 布 (或 依 分 布 ) 收敛 于 随机 变量 с 如 
朱 对 于 任意 有 界 连续 函数 = f(z), 有 


Е} (52) > Ef(é), п — оо (4) 


记 作 : 上 ЕЕ, Ш Е На Ж distribution (分 布 ) 的 字 头 , law 是 (分 布 ) 1#. 

这 一 收敛 性 名 称 的 来 历 , 像 将 由 第 三 章 51 表明 的 那样 , 条 件 (4) 等 价 于 , 分 布 函 
Ж Fe (х) 在 分 布 函数 Fe(z) 的 每 一 个 连续 点 上 收敛 于 Fe (XT) ( 称 做 Fe (т) Ж ЖЖ 
于 Felz), WE Ре, => Е). | 

”应 该 强调 , 随机 的 按 分 布 收敛 性 , 只 有 通过 其 分 布 函 数 的 收敛 性 定义 . 因此 , 关 
于 这 种 形式 的 收敛 性 , 当 且 仅 当 随机 变量 定义 在 不 同 的 概率 空间 上 才 有 意义 . 这 种 形 
式 的 收敛 性 , 在 第 三 章 将 详细 研究 , 到 时 要 特别 说 明 , 为 什么 在 收敛 性 Fe, = Е; 的 
定义 中 , NEKE Fele) 的 连续 点 上 收敛 , 而 不 是 在 一 切 z AE. 

2. 基本 随机 变量 序列 的 概念 ”在 数学 分 析 中 , 在 解决 给 定 函 数 序列 (在 一 定 意 
XF) 收敛 性 的 问题 时 , 基本 序列 (或 柯 西 序列 ) 的 概念 是 非常 重要 的 . 对 于 现在 所 
研究 的 随机 变量 序列 收敛 性 的 情形 , 也 引进 类 似 的 概念 . 

称 随机 变量 序列 {En} (或 简 记 为 {h 为 依 概率 为 基本 的 , 如 果 满 足 条件 : 
对 于 任意 e > 0, 有 Р{|Е, 一 Em| > =} 一 0,n,m 一 œ; Ж {Enj 为 依 概率 1 为 
基本 的 , 行 对 于 几乎 一 切 w є 9, {én(w)}nz1 为 基本 序列 ; ЖК {&„(ш)Ь>: 在 L? (或 
2(0 < p < оо) 阶 平 均 ) 的 意义 上 为 基本 的 , ж ЕЕ, — |? > 0,п,т —› оо,0 <р < оо. 

з. 随机 变量 序列 的 依 概 率 1 收敛 

定理 1 а) Фё, — E(P фас.) 的 充分 和 必要 条 件 是 , 对 于 任意 < > 0, 


Рио, >=} =o, п — оо. (5) 
kèn 
b) 随机 变量 序列 {6}, 依 概率 1 为 基本 的 , 当 且 仅 当 对 于 任意 <> 0, 


ed sup Е п 00, (б) 
kzn dln 


= $Y A 
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或 等 价 地 
Ри — Ên! >e) — 0, n оо. (7) 
k20 


Ш а) BAS ={ш:|&—&| > e}, А = А = (| U Ag ЖА, 


n=l kən 


260 а = |) АЧ". 
т=1 


Е>0 


Р(А°) = lim P у х) | 


kən 
所 以 命题 а) 的 绪论 由 下 面 一 系列 等 价 关 系 得 出 : 
Pfw:e 5 &}=0%Р (Оа) -os 人 (局 д) =0 ө 


E>0 тъ] 
= Р(АИ") = 0,т >1 © Р(А%) = 0,є > 0 © 


= 人 х) = 0,n = 00,e > 0 $ Ри, 6126} > 0,n = o,e > 0, 
kzn 
kèn > 


b) 记 
Вк = {w : 16 -&| 2 =}, В = [| |) ВЕ, 
n=l kən 
{ть 
ЖА, {w : {én(w)} 不 是 基本 的 } = Uso В", @ а) 一 样 可 以 证 明 Р{ш: {En(w)} 不 是 
基本 的 } =05 (6) 式 等 价 . 而 由 下 面 明 显 的 不 等 式 , 可 见 (6) 式 与 (7) 式 等 价 : 


SUP |En+k — &| < зар |En+k — ён < 2sup|éntk — énl. O 
k20 kən, zn k20 
ж ”由 于 
P f sup |. — $| > 1 =Р у {l&k — £l > a) < У P{]& - ¿l 2 £}, 
к2п kzn kzn 
TR, En 一 E(P — а.с.) 的 充分 条 件 是 : 对 于 任意 <>0, 有 
У Pilek — >є} < оо. (8) 


k=] 
现在 关于 条 件 (8) 应 当 指 出 , 推导 该 式 的 论断 可 以 用 来 建立 如 下 简单 但 十 分 重 
要 的 结果 , 在 研究 依 概率 1 成 立 的 性 质 时 是 基本 工具 . 
” 设 41,42,… Ж Я 中 的 某 一 事件 序列 . 我 们 (М, 81 表 2 - 1) 曾 使 用 记号 {无 
限 多 个 An} 表示 事件 А, 为 “在 А, 42,… 中 有 无 限 多 个 出 现 ”. 


$10. НЯНЯ ` 277 - 


引 理 1 (ШАЛ — ЗЕЯ] [Е. Воге!- Е. Р. Саще!!]]) а) № УР(А,) < 


оо, Я) Ж № P{ 无 限 多 AN An} = 0. 
b) 如 果 У`Р(А„) = оо Н #}{ А, А.,... 独立, 则 概率 P{ 无 限 多 个 А„} = 1. 


证 明 а) 根据 定义 


{ 无 限 多 个 An} = ША, = П Ua 


因此 ， 
P{ 无 限 多 个 An} =P А б м) =limP у м) < E P(A), 
п=1 kzn kzn kzn 
由 此 命题 а) 得 证 . 


b) ЩЖ А), А2,... 独立 , 则 Ai, 42,… 也 独立 . ЖА, 对 于 任意 N > n, 有 


Е=п к=п 
нж №, 
Р (A a.) = [| P(A) (9) 
k=n k=n 
由 不 等 式 In(1 — 5) < —т,0<х<1, 可 得 ， 
а [П-Р(4%) = > ,nfi-P(A) < - YO P(A) = – 
k=n k=n k=n 
从 而 , 对 于 任意 п, 
P (A л.) = 0, 
k=n 
ВИ P{ 无 限 多 个 А„} = 1. Г] 


Ж 1 如 果 Аё = {ш : |En — &] 之 Ent, 则 条 件 (8) 表示 


` 2 PUR) < оо => 0, 


而 根据 博 雷 尔 一 KEA 3E P(A) = 0,e > 0, ЖФ А = Шт АЕ (= {无 限 多 个 A5}). 
于 是 , 有 


OD 
ЭУ Р{|&&—4&| >є} <o0ce>0>P(A4)=0,e>0%P{w:é, > E} = 0 
k=1 
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而 关于 这 一 点 上 面 已 经 指出 . 
系 2 Же AERE Pl En |0, п 一 оо. 那么 , 如 果 


У Р{& — E| 2 En} < оо, (10) 
n=l 
则 & Е. 
事实 上 , А„ = {|En -El > en} WA, REBER -KRAI P{ 无 限 多 个 
А„} = 0， 对 于 几乎 每 一 个 结局 w ER, 存在 N = N(w), 使 对 于 > Nw), 有 
én(w) — &(ш)| < En. 由 于 en | 0, 可 见 对 于 几乎 一 切 w ER, rlw) > Elw). 
4、 各 种 收敛 性 的 蕴涵 关系 
定理 2 有 如 下 蕴涵 关系 : 


ЕЕ, Е, (11) 
En эё», DE, р>0, (12) 
©„ ЗЕЕ, D E. (13) 


证 明 由 (5) 式 可 见 命题 (11) 成 立 ; 由 切 比 雪夫 不 等 式 , 可 见 蕴 涵 关 系 (12) 成 
М. 

ЖА ЛЕЧНЕНН 218 ЖА (13). № f(x) 是 连续 函数 , |f(z)| < cs > 0, 而 N 满足 
Р{|&| > М} < є/(4с). 

选择 6 > 0, 使 得 对 于 一 切 |а| < N 和 |х— у| < 6, 不 等 式 


f(z) — f(y)| < 5 


成 立 . 
那么 , (对 照 第 一 章 85 第 5 小 节 , 维尔 斯 特 拉 斯 定理 的 “概率 的 ” ПЕНЯ): 


Е|/(&һ) — FE = ENS En) — FE); lEn — El < ô, | < М] 
+Е[|/(&һ) — FCE); lEn — & < ô, | > N] 


+Е (11 (En) — F(E); lEn — & > ô) 
< =/2 + =/2 + 2сР[|&„ — E| > 6] = є + 2сР[#&„ — El > ô]. 


由 于 Р(|&, — & > 6) — 0, 可 见 对 于 充分 大 的 п, Elf lén) – (Е) < =. 由 于 e>0 是 
任意 的 , РГ ЛЖ (13) 得 证 . 口 
现在 举 一 些 例子 , 其 中 有 的 说 明 (11),(12) 式 中 相反 的 蕴涵 关系 一 般 不 成 立 . 

例 1 (En ED in SS E, in D En SE ВОО = 
[0,1], P Æ [0,1] 上 的 勒 贝 格 测度 . 设 


; 2—1 ż ; | 
д, = | = nl 


$10. 随机 变量 序列 收敛 的 各 种 形式 · 279 · 
那么 , 随机 变量 序列 
(El Eh Ea Ei, ER E} 
依 概率 收敛 , 也 对 р > 0 阶 平 均 收敛 , 但 是 它 在 任何 点 ш є [0,1] RAA. 


例 2 (Е, ЕЕ, ÈS е Е, 2 (р > 0)). Я = [0,1,9 = 
90,1], P 是 0,1 上 的 勒 贝 格 测度 , 而 


E (w) = е", Ж 0О<ш<1/п, 
п = 0, Ж шс 1/п. 


那么 , 序列 {En} 依 概率 1( 故 依 概率 ) 收敛 于 0, 但 是 对 于 任何 p > 0, 
ЕР = 和 оо, п ою. 
013 (ЕЖЕ, 25 ©). 1% {&„} 是 独立 随机 变量 序列 , Н. 
Pién = 1} = ра, Р{ =0} =1- ра. 


那么 , 不 难 证 明 : 


En — 0 рь > 0, п э Оо, (14) 

En 250 pn > 0, п > Со), (15) 
со 

En 2505 У <. (16) 
n=l 


特别 , 当 ра = 1/n 时 , 对 于 任何 p > 0, én 一 0 然而 &, 并 不 几乎 处 处 收敛 于 0. 
下 面 的 定理 涉及 一 个 重要 的 情形 : 由 几乎 处 处 收敛 可 以 导出 L 平均 收敛 
定理 3 H {> 是 非 负 随机 变量 序列 , НЕ, 25 E Е, 一 ЕЁ < оо. ЖА, 


Ес, — &| +0, п оо. (17) 
证 明 对 于 充分 大 的 п, 有 ЕЕ, < оо. 因此 


Elé — én| = E(€ — En Miezen} + Е(& — Це, еу 
= 2E(é€ — En iezen} + E(én —&). 


由 于 0 < Е(&—&„)Це> „у < ©, 则 由 控制 收敛 定理 知 lim, Е (6 - ё.) оер = 0, 于 是 
由 假设 Eén 一 EE 证 得 (17) A. 口 

注 如 果 将 依 概 率 1 收敛 换 成 依 概率 收敛 , 则 控制 收敛 定理 (86 定理 3) 仍然 成 
У ( 见 练习 题 1). 因此 , 在 定理 3 СК е, ES E” 可 以 换 成 收 化 En i E”. 
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5. 柯 西 收敛 准则 ”由 数学 分 析 知 , 任意 基本 数列 {1n}, ть Е R, 都 是 收敛 的 (М 
西 准则 ). 我 们 对 于 随机 变量 序列 引进 类 似 的 结果 . 

定理 4 ( 柯 西 几乎 必然 收敛 准则 ) ”随机 变量 序列 {iEn} 依 概 率 ЖА (于 某 一 
随机 变量 &) 的 充分 必要 条 件 是 {5} 依 概 率 1 为 基本 序列 | 

证 明 E én S 6, Д] 


вир |6к – &| < зар |x — & + sup |é – £j, 
k>n,l>n kən [>п 


由 此 ( 见 定理 1) 可 得 定理 的 必要 性 . 

现在 假设 {En} 依 概率 1 为 基本 序列 . WN = {ш: {&„(ш)} 不 是 基本 序列 }. Я 

么 ,对 于 w E AS, RN {Е (о) 是 基本 的 , 故 根 据 数 列 的 柯 西 定理 , 数列 {Е (ш)} 
i 1 т $ N, 


于 是 , 所 定义 的 函数 上 (w) 是 随机 变量 , AMEA 4, 25 
定理 5 Ж {én} АМАН, MARTRI BIR 


概率 工 收敛 的 子 序列 (6. }. 

A R {5&} 对 于 依 概 率 收敛 是 基本 随机 变量 序列 .由 于 定理 4 只 需 证 明 从 
中 可 以 分 出 几乎 处 处 收敛 的 子 序 列 . 

Rn = 1, 由 归纳 法 确定 一 个 nx, 使 之 对 于 任意 5 > n,t > п, 是 满足 


Р{|& – E| >27} < 27% 


的 最 小 п > Nk—1- 那么 ， 
УР, 一 名 | > 27} < УУ 27® < oo 
k k 


而 由 博 雷 尔 — 坎 泰 利 引 理 
Р{ |+ 7 En, | > 27%, 无 限 多 个 к} =0. 


因此 , 依 概 率 1, 有 
| у, [ка = Én, | < оо. 
k 


Ж = {о: У, En | = оо}. 那么 ,如 果 设 


k+1 


Elw) — К (w) + У Enn (м) — En, (w), Я ш Є AS, 


0, Ewes, 


则 En, = E. 
如 果 原 序列 依 概率 收敛 , 则 它 按 依 概 率 为 基本 的 ( 见 下 面 的 (19) 5), 从 而 这 正 
是 所 讨论 的 情形 . E 
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定理 6 ( 柯 西 依 概率 收敛 准则 ) ”随机 变量 序列 {с} 依 概 率 收 化 的 充分 必要 条 
件 是 , {En} 按 依 概率 收敛 是 基本 随机 变量 序列 ， 
证 明 ”如果 i e, M 


Pllén — Em] > =} < Pllén – 624/2} + Pllém — 4] > =/2}, (19) 


即 (е) 按 依 概率 收敛 是 基本 随机 变量 序列 
相反 , 车 {Е} 按 依 概率 收敛 是 基本 随机 变量 序列 , 则 根据 定理 5, 存在 随机 变量 
子 序列 {én} 和 随机 变量 上, 使 Е 25 Е. ЖА, 


P{|En — E| > €} < P{|En — &, |2 =/2} + Р(|6, -& 2 є/2}, 


Вр En є, 口 
关于 р(> 0) 阶 平均 收敛 , 我 们 首先 对 空间 Гр 作 若 于 说 明 . 
以 L = L?(Q,.F,P) 表示 满足 


Elél? = 人 ЕР dP < ос 


的 随机 变量 上 = tlw) 的 空间 . 假设 p > 1, 并 设 
181, = (ВЕР). 


显然 
1615 > 0, (20) 
lcéllp = 19111, с 是 常数 ， (21) 
由 闵可夫 斯 基 不 等 式 (86 (31) 式 ), 有 
16 + nllo < 141 + 7. (22) 


这 样 , 根据 泛 函 分 析 中 熟知 的 定义 , 定义 在 LP 上 并 满足 条 件 (20)~(22) RA 
数 |: 1 (对 于 p > 1) 称 做 半 范 数 . 
为 使 之 成 为 范 数 尚 需 具 有 如 下 性 质 


51р =0 = 5 = 0, (23) 


当然 这 一 般 并 不 成 立 , 因为 根据 性 质 H(86), 只 是 可 以 断定 < 几乎 必然 为 0 而 不 是 
恒 等 于 0. | 

鉴于 这 种 情况 ， 需 要 用 略 有 不 同 的 观点 对 待 空 间 го. 具体 地 说 , 将 每 一 个 随 
机 变量 © сг? 和 Lr? 中 与 之 等 价 的 随机 变量 类 e 相 联 系 ( 称 & 和 n 等 价 , 如 果 
P{e = п} = 1). 不 难 证 明 , 等 价 性 具有 自 反 性 、 对 称 性 和 传递 性 , 说 明 线 性 空间 [р 
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可 以 分 割 为 两 两 不 相交 的 等 价 随机 变量 类 . 如 果 以 [L?] 表示 ГР 中 等 价 的 随机 变量 
类 E 的 全 体 , 并 且 定 义 : 


lE] + [n] = [E + n], 
al] = [а], а 是 第 数 ， 
[Е] = lléily, 


ДЈ [Т^] 就 是 线性 赋 范 空间 . г 

| 泛 函 分 析 中 关于 空间 [L] 的 元 素 , 通常 称 做 “函数 ", 而 不 是 “等 价 函 数 类 ”. 
此 , 我 们 以 后 不 再 使 用 记号 [Z2], 而 正 是 把 L 理解 为 等 价 函数 类 的 集合 , 像 以 前 一 
样 简单 地 称 元 素 , МХ, 随机 变量 ...... | 

泛 函 分 析 重 要 的 绪 果 之 一 , 就 是 要 证 明 空 间 L?,p > 1, 是 完备 的 , 即 任何 基本 序 
列 都 是 收敛 的 . 下 面 用 概率 的 语言 表述 并 证 明 这 一 结果 . 

定理 7 (МИ p(p > 1) 阶 平均 收敛 准则 ) ”空间 L? 中 的 随机 变量 序列 {En}, 
plp > 1) 阶 平均 收敛 于 取 值 于 L 的 随机 变量 的 充分 必要 条 件 是 , {&„} Жр 阶 平均 
收敛 的 基本 随机 变量 序列 . 

证 明 由 闵可夫 斯 基 不 等 式 , 可 见 必 要 性 成 立 ， 设 {2} 是 基本 随机 变量 序列 
(lEn — тр 一 0,n, m 一 со). 仿照 定理 5 的 证 明 , 选择 一 子 序列 {En} 使 6 
其 中 & 是 菜 一 |4], < оо 的 随机 变量 . 

ВЕ ni = 1, 由 归纳 法 确定 一 个 ng, 使 之 对 于 任意 s > mt >п, 是 满足 


人 一 如 < 272% 


的 最 小 n > трт. 记 
Ак = {w : (270 — En, | 2 2—*}. 


那么 , 由 切 比 雪夫 不 等 式 , 有 


> Е — Eng Р < 2— 26р 


_ с—Кр =k 
S Ep < элю =2 <". 


P(Ar.) 


如 同 定理 5, 由 此 可 见 存 在 随机 变量 €, E E, 25 E 

由 此 可 见 当 п оо 时 |6, — Ello 一 0. 为 此 固定 es > 0 并 选择 М = М), 使 对 
于 n> Nm > №, 有 |é – Enl < е. ЖА, 对 于 任意 固定 的 n> N, 由 法 图 引 理 
(86), 有 


Elé, — ¿|P =E f iim |En 一 бы) — в] lim |En -6.р) 
nk— O00 
< lim Её, 一 En = lim | 一 En 人 < Е. 
ТЕ — 00 тк оо 


从 而 , Ч п —> оо В |, —&Р-+0. НТ E= (EE) +2, Н Е Капу 
М Elél? < оо. Г] 
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注 1 按照 泛 函 分 析 的 术语 , 完备 赋 范 线性 空间 称 为 巴 拿 赫 (5. Banach) 空间 . 
这 样 , 空间 L?,p > 1, 是 巴 拿 赫 空间 . 

2 ”如 果 0 <p<1, 则 jiglls = (ЕЕ?) 不 满足 三 角形 不 等 式 (22), 从 而 不 
是 范 数 . 然而 , 空间 (等 价 类 ) L?,0 < p < 1, 关于 度量 4(Е 1 = Еј 一 nj? 是 完备 的 . 

+3 设 随 机 变量 = ilw) 满足 条 件 : | < оо, Е |41. 决定 于 


[< со = ess sup |4| = inf{0 < c < оо: Р(|4| > с) = 0}, 


称 做 & 的 本 质 上 确 界 . 记 1% = LOQ, F P) 是 随机 变量 上 = Elw) 的 (等 价 类 ) = 
н]. | 

函数 | |< 是 范 数 , 且 空 间 LO 关于 此 范 数 是 完备 的 . 

6， 练 习题 

1. 利用 定理 5, 证 明 $6 定理 3 和 定理 4 的 命题 :“ 依 概率 1 收敛 ”可 以 换 成 “ 依 
概率 收敛 ”. 

2. 证 明 L 是 完备 空间 . 

3. 证 明 , Æ 6, ЕН т, 5 n, Мел ЗИ (В PLE Zn} 0). 

4. B En >E M әп, Ве 等 价 . 证 明 对 于 任意 ce >0, 有 


P{lé, — Mm] >=} -0,n— оо 


5. Ж En Е 和 一; л. 证 明 , Ш y = (т, у) 是 连续 函数 Д) plên, ла) => 
(Е, п) (ЖТЖ. (Е. Е. Слуцкий] 引 理 ). 

6. 设 (ên 一 各? 一 0. 证明 =2 -5 22. 

7. 证 明 , 若 &, С, 其 中 C 为 常数 , 则 有 依 概 率 收敛 : 


En $, С => Ên „Р, С. 
8. 设 序列 {&„}»һ>»1 满足 条 件 : 对 于 某 个 p > 0,у`°°_, ВЕР < оо, МЕНН ё, 22%, 
9. 设 {&„ >з 是 同 分 布 随机 变量 序列 , 证 明 


Е, | < ОО < У Р{|&1 > en} < со, > 0 


n=l 


эр!“ > > el < оо > 0 = Ét Pee, o, 
n=l 
10. 设 {én а> 是 一 随机 变量 序列 . 假设 存在 随机 变量 E 和 子 序列 {пк} 使 


En ER шах Jé- En ‚| ZS E, k > оо. 证 明 6, > E(P —ас.). 


PK 1<L 入 Ti 


· 284 · 第 二 章 ”概率 论 的 数学 基础 


11. 在 随机 变量 的 集合 中 引进 “度量 а” 如 下 : 


ит)" 
并 且 认 为 几乎 处 处 相等 的 随机 变量 相同 . 证 明 d = d(e, n) 确实 是 度量 , 并 且 依 概 率 
收敛 等 价 于 在 此 度量 下 的 收 全 


12. 证 明 在 随机 变量 的 集合 中 , 不 存在 与 几乎 处 处 收敛 等 价 的 度量 . 
13. Я Х<х.<.... НХ, == х. 证 明 XX Рс, у. 


14. 设 X, —— X, M X, E= X (ЕУ Е. Cesaro] 来 和 法 ) 其 中 


_ 1 一 
Xn — по Хь. 


举例 说 明 P- 几乎 处 处 收敛 不 能 换 成 依 概率 收敛 . 

15. 设 (9,*,Р) 是 概率 空间 , Х„ —— X 证 明 , 如 果 Р 是 原子 测度 则 也 依 概 
率 1 X, >X. (车 对 于 任意 Be Я, 要么 P(B 门 4) = P(4), А Р(ВПА) ~ 0, 
ДЕВ 4 e 多 ЖЖР- 原子 . ЯЕРЖЖР- 原子 的 , 如 果 存 在 可 数 个 不 相交 的 
P- МУХ {Аһ}, ® РИ. An) = 1.) 

16. 根据 空间 (第 一 ) 博 雷 尔 - KRASIE, 如 果 对 于 任意 s > 0, 


NO P{len >=} < сю, 


n=l 


则 序列 „ 一 一 >、 0， 举例 说 明 , 在 узе Pll > =) = oo(e > 0) 的 条 件 下 ， 
En 二 -ac ,0 也 可 能 成 立 . 

17. (第 二 博 雷 尔 一 坎 泰 利 引 理 ). 设 Q = (0,1),.@ = . 罗 ((0,1)),P 是 勒 贝 格 测 
RE. 考虑 事件 An = (0,1/п). ЧЕН У`Р(А„) = оо, 但 是 (0,1) 上 的 每 一 个 w 最 多 只 
可 能 属于 有 限 个 集合 A1,:… , Ару В P{ 无 限 多 个 4,} = 0. | 

18. ж — ИЛЛ ЖЕ ЕРЕН {En}, 使 之 依 概率 1 ШазирЕ, = oo,liminfe = 
— 00, 然而 存在 随机 变量 77: бп >, 7. 

19. 设 О 是 有 限 或 可 数 集合 , 证 明 , 若 En E W En PES е. 

20. 设 А, 4?… 是 独立 事件 序列 且 > Р(А») < оо. 证明, 对 于 5, = 
у”, (Ан), 满足 “第 二 博 雷 尔 — 坎 泰利 引 理 ”的 条 件 : 


=1 (Р—а.с.). 


21. W (Х»)һ>1 和 (Yn): 是 两 个 随机 变量 序列 ， 且 其 一 切 有 限 维 分 布 相同 
(Fo = By 1). ШЕЮ, # X, => X, Му, Ру, Ну 是 与 
X 同 分 布 的 随机 变量 . 
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22. Ж (Xn)nz1 是 独立 随机 变量 序列 , Н Xn —— X, 其 中 х 是 某 一 随机 变量 
证 明 Х 是 退化 随机 变量 . 

23. 证 明 ， 对 于 每 一 个 随机 变量 序列 £1, €2,*: 3 存在 这 样 的 数列 41, CC2) , 使 
2, /an FP-ac (у 


24. 设 б1,&2,°°. 是 随机 变量 序列 ， Sn = ёр + etin nl. 证 明 {Sn >} 一 一 
使 级 数 并 ,> Elo) 收 化 的 we О 的 集合 , 可 以 表示 为 如 下 形式 


{5„ >} = [| ©. В {вир - sel < м} 


№М>1т>21К2т 


相应 地 ， FRA ра Ek (Ww) 发 散 ， 则 
{Sn >} = б Г] (J {зр |8 - Skl > № 上 


Nzimzl kèm 


25. 证 明 第 二 博 雷 尔 一 ЕЯ РЖ (51% 1 的 命题 Ь)): 假设 事件 
A1, 42,… (RUML) 满足 条 件 
5 P(A; п Ax) 


i kín 


P(A n)= co 和 lim inf 一 一 一 一 一 一 < I, 


em 


1<К<п 


OO 


Д P{ 无 限 多 个 An} =1. 

26. 证 明 在 第 二 博 雷 尔 — 坎 泰利 引 理 中 , 代替 A, 42,… 独立 , 只 需要 求 它们 两 
两 独立 . 

27. 证 明 0 一 1 律 的 如 下 形式 (对 照 第 四 章 81 的 0 一 1 律 ): 如 果 A, 42,:… 两 两 
独立 , 则 
0, Ж У`Р(А,) < оо, 
1, № D P(A)= 

28. 设 对 于 任意 事件 序列 Ar, Aa, ЖА ШаР(А„) = 0 Ж! En Р(А„ MAn) < 
со, 证 明 P{ 无 限 多 个 А„} = 0. 

29. 证 明 , Ж У Р{|&,| > п} < оо, Mj Назар, (|2. |/№) < (КР — а.с.). 

30. & En | E(P — a.c.) Е | < со,» > 1 А inf, Be > -00, 证 明 En 工 ， с, В 
Е — | — 0. 

31. 利用 博 雷 尔 一 坎 泰利 引 理 证 明 ， а P{ 无 限 多 个 А„} = 1, 当 且 仅 当 对 于 
每 一 个 集合 A, P(A) > 0,5), Р(АПА,) = 

32. 设 事件 A, 42,… 独立, 且 对 于 一 切 п > 1,P(4n) < 1, WH P{ 无 限 多 个 
An} =1, 9 НАХ Р((ЈА,) = 1 


P{ 无 限 多 个 An} — | 


286. 第 二 章 ”概率 论 的 数学 基础 


33. W Ха, Хә, 是 独立 随机 变量 ， H Р{Х, — 0} — 1/n, Р{Х, — 1} =1-— 1/п; 
а En = {Xn = 0}. 证 明 | 


OO 


У P(E,) = 00, >» P(E,) — 
并 由 此 得 出 结论 : lim, Х„(Р — а.с.) PRE. 
34. 对 于 随机 变量 序列 Xi, X2,- , 证 明 X, 一 0, 当 且 仅 当 对 于 某 个 + > 0, 有 


хы 
1+ 1х," 
Sn ES, р (Sn — ES,)? 
> SP о Es 7 0 


证 明 , 对 于 任意 随机 变量 序列 Xi,X2,…… 有 
Р 


Sn 
ах |Хк| Роњ" Р, 0. 
1<hen 


35. 假设 对 于 独立 同 分 布 伯 努 利 随 机 变量 序列 Xi, Xo,:…: P{Xk = +1} = 1/2; 
Un = У ск, л 之 1. 


к=1 


证 明 , Un ——®®— U, 其 中 U 是 在 (—1,+1) 上 均匀 分 布 的 随机 变量 
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1. 随机 变量 的 希 尔 伯 特 (D. Hilbert) 空间 ”在 上 面 讨论 的 巴 拿 赫 空间 L?,p > 
1 中 , 起 重要 作用 的 空间 12 = LRS, P) 是 具有 有 限 二 阶 矩 的 等 价 随机 变量 类 . 
对 于 Ene L, w 
(2,1) = Её. (1) 


显然 , 对 于 Ence L?, 有 
(аё + 67, С) = alé, C) + b(n, С), (2,4) 20, 


(5,5) =0 = & = 0. 
ЖЕР, (6,1) 是 数量 积 . 关于 由 此 数量 积 诱导 的 范 数 


11 = (£, 6), (2) 
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空间 12 是 完备 的 (证 明 见 510). 因此 , 按照 泛 函 分 析 的 术语 , 引进 数量 积 (1) 的 空 
闻 是 (具有 有 限 二 阶 和 矩 的 ) 随机 变量 的 希 东 伯 特 空间 . 

概率 论 中 , 在 研究 仅 由 随机 变量 的 前 两 阶 矩 决定 的 性 质 时 , 广泛 使 用 希 尔 们 特 
空间 方法 (L-E). 这 里 , 我 们 仅 限 于 介绍 (第 六 章 ) 叙述 L- 理论 所 必须 的 基 
本 概念 和 事实 . 

2. 正 交 随机 变量 系 ”空间 L 中 的 两 个 随机 变量 上 和 称 做 正 交 的 (Е Ln), 
如 果 其 数量 积 (6,1) = Eén = О. 根据 58, 随机 变量 Е 和 7 称 做 不 相关 的 , 如果 
соу (Ё, n) = 0, 即 如 果 
| Etn = EE x En. 
由 此 可 见 , 对 于 均值 为 0 的 随机 变量 , 正 交 性 与 不 相关 性 相同 ， 

如 果 对 于 任何 随机 变量 £n є MEn) Е 1 т, MR MOL ЖЕ МАЯ 
ER. 

此 外 , 如 果 对 于 一 切 & EM, 其 范 数 E= 1, Д) М 称 做 随机 变量 的 规范 正 交 系 . 

3. 最 优 线性 估计 量 设 M = {m,… ) 是 规范 正 交 系 , 而 上 是 Д2 中 的 某 一 
随机 变量 . 在 形 如 > aimi 的 线性 估计 类 中 , 求 随机 变量 上 (在 均 方 意义 上 ) 的 最 优 
估计 量 (对 照 58 的 第 2 小 节 ). 


通过 简单 的 计算 , 可 得 
= Е – уа ni) + (> ЭЭ г) 
= |||? — уат + з а 


= 8-6) + У о — (Вт 
t=] $=1 


2 
Е 


> 1412 — У КЕ), (3) 


1=1 


其 中 用 到 了 等 式 
а; т 29: (E, n) = |a; т (£, TAK — (£, т: №. 


由 此 可 见 ， 对 于 一 切实 数 41, ans, 当 а; 一 (Eni) i = 1,2,-.. ‚Л В, 


n 2 
$ — Уу, Чт 
$=1 


Е 


达到 下 确 界 . 
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这 样 , Шот, ,mm 对 E (在 均 方 意义 上 ) 的 最 优 估 计量 为 


E= > (E т)т. (4) 
这 时 | 
A=infElt Уат = Еј – > = JE? -Y E, m)? (5) 
1 二 1] 1=1 


(对 照 第 一 章 84 (17) АМ 88 (13) R). | 
Н (3) 式 亦 可 得 如 下 贝 塞 尔 (F. W. Besser) 不 等 式 : ШЖ М = {т,12,...} Ж 
规范 正 交 系 , Н © є ГР, 则 


2 KE, т) 12 < |2, (6) 
其 中 达到 等 式 当 且 仅 当 
£ = Li.m. $ (пт (7) 
i 二 1 


最 优 线 性 估计 量 E 常 记 作 Elem, а), РЖ (Е 关于 m, ута) 的 广义 条 
件数 学 期 望 

关于 这 一 术语 有 如 下 解释 ， 假 如 考虑 随机 变量 上 关于 m, ,np 的 一 切 可 能 
的 估计 量 ф = (т, : , Tn )(Ф ЕЕК), 则 p* = E(Elm, mn), ЫП E RF 
у, ,97n 的 条 件数 学 期 望 是 最 优 估计 量 (对 照 88 的 定理 1). 因此 , 最 优 线性 估计 量 
类 似 地 记 作 Ел, ть), 并 称 为 广义 条 件数 学 期 望 . 为 此 我 们 指出 , 如 果 随 机 变 
Ж т, ,mm 构成 高 斯 系 (FE $13), 则 也 (em ,mn) 与 Ё(&|т,--- ,pn) 相等 . 

下 面 说 明 估 计量 Є = Elm,- ,mm) 的 几何 意义 . 

以 罗 = Zm, а) 表示 规范 正 交 随机 变量 m1,.… р 系 生成 的 线性 流 形 
( 即 形 如 > … ;aini(ai € R) 的 随机 变量 系 ). 

ЖА, 由 以 上 的 投 述 可 见 , 上 有 如 下 “ 正 交 分 解 ”: 


є=ё+(&—©), (8) 


其 中 Ee 多 ,而且 在 对 于 任意 Ae 多 ,上 -EL 入 意义 上 ce-E1 97. 因此 自然 称 人 为 
在 .多 上 的 投影 ( 即 多 中 “最 接近 ”é 的 元 素 ), E- ERE Мак. 

4. 线性 无 关 性 ”由 随机 变量 y,- ,mn 的 规范 正 交 性 假设 , 可 以 简单 地 找到 由 
тї, ,Tm ЖЕ 的 最 优 估计 (投影 ). 假如 不 要 求 规范 正 交 性 假设 , 则 情况 比较 复杂 . 
不 过 , 下 面 将 要 证 明 , 任意 随机 变量 m, -m 的 情形 , 在 一 定 意义 上 可 以 归 为 已 经 
研究 的 规范 正 交 变量 的 情形 . 为 简便 计 , 在 以 后 的 叙述 中 , 将 假设 所 考虑 的 一 切 随 机 
变量 的 均值 为 0. 
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称 随 机 变量 71, ,nn 为 线性 无 关 的 , 如 果 等 式 
У ат; = 0 (Р — а.с.) 
$=1 


只 有 当 所 有 а; 都 等 于 零 时 才 成 立 . 
考虑 协 方 差 矩 阵 
R = Enn}, 


其 中 5 = (m, ,mn) 视 为 列 问 量 . R = Ел” 是 非 负 定 对 称 和 矩阵 , 如 同 在 58 已 经 指 
出 的 , FEER Z, 可 将 R КУХНЯ: 


21627 =D, 


其 中 


的 对 角 线 上 的 非 负 元 素 а; > 04 = 1,… п), Я R 的 特征 数 ， 即 特征 方程 
4е (В — ЛЕ) = 0 М А (Е МЕ). 

如 果 随 机 变量 m,m REER, 则 克拉 默 (J. Р. Gram) 行列 式 (БЇ det R) 
不 等 于 0, 即 全 部 di > 0(i = 1,… ,n). Ж | 


和 
B=B Z'n. (9) 


那么 , 向 量 8 的 协 方差 矩阵 
ЕЗЗТ = В-17'Ет ZB = В 12ТВЕ В! Е Е, 
从 而 问 量 = (br ,Bn) 的 分 量 是 两 两 不 相关 的 随机 变量 . 同样 明显 
n = (2В)В. (10) 


于 是 , 如 果 随 机 变量 n, ,7 线性 无 关 , 则 存在 这 样 一 个 规范 正 交 随机 变量 系 
Bi1,… ,Bn, 使 (9) 和 (10) 式 成 立 . 这 时 


B (Mm, m) = Z (Ba , Ba). 
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所 介绍 的 得 到 规范 正 交 随机 变量 系 01, … ,G 的 方法 , 在 一 系列 问题 中 显得 不 
是 很 有 用 . 问题 在 于 , 假如 把 n 视 为 随机 变量 (Mm, m) 序列 在 时 刻 i 的 值 , 那么 
上 面 建立 的 正 交 随机 变量 9 … bn RIE bi, 不 仅 依 赖 于 “过 去 ”(m1,:… т), 而 
且 依 赖 于 “将 来 ”(n;41,… т). 下 面 将 要 介绍 的 克拉 区 — #3 (Е. Schmidt) E 
交 化 过 程 不 但 没有 这 一 缺陷 , 而 且 它 具有 如 下 优 后 : 它 可 以 用 于 线性 无 关 的 无 限 随 
机 变量 序列 ( 即 任何 有 限 个 随机 变量 序列 都 线性 无 关 )， 

设 11, 72, -- 是 12 中 线性 无 关 的 随机 变量 序列 . 用 归纳 法 以 下 面 介绍 的 方式 建 
让 序列 e1,e2,…. Ва: = /lmll. 假设 = ‚=: 已 经 选 定 , 而 且 它 们 正 交 , W 
я 


= тб. (11) 
fnn Би Пт || 

RP m 是 在 由 正 交 随机 变量 c1, ,e,_1 生成 的 线性 流 形 -Z = -多 (cl En) 

上 的 投影 : 


En 


n— І 


fn = У (Tn, к). (12) 


== 1 

由 于 mom REER, (па, 1) = 多 (el,… ,en-1) 可 见 |, — Fall > 0, 
从 而 en НЕХ. 

根据 构造 enl = 1,n > 1, 而 且 显然 (є„,єь) = 0,k < п. 因此 ei,e2,… 是 正 交 
序列 . 这 时 根据 (11) 式 有 

п = Mn + bnen, 

其 中 bn = |n — 9.11, 而 决定 于 (12) 式 . 

现在 假设 m1,…. ,mm 是 任意 随机 变量 系 (未 必 是 线性 无 关 的 ). R дев = 0, 其 
+ Е = (rj) 是 向 量 (m, 1) 的 协 方 差 矩阵 ; Я 


rang Я = т < п. 


ЖА, 由 代数 熟知 , 对 于 二 次 型 


n 
Q(a) = ` таа), а = (al ,Qn), 


恰好 存在 n -r 个 线性 无 关 向 量 a,- a0, 使 Q(aG) = 0, =1,-.-,п—т. 
因为 , 
@(а) = Е (> ат) 
此 一 工 
从 而 , 依 概率 1, 有 


也 
У`а тк = 0,2 = 1,...,п Т. 
к=1 
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换 句 话说 , 在 随机 变量 m, ,mn 之 间 , НЕЕ п-т 个 线性 关系 式 . 因此 , Й 
如 Niste’ Nr 线性 无 天 ， 则 其 余 一 切 随机 变量 Nr+1 ,Nn 可 以 通过 Nist’ Tr 线性 
表示 , ВХ (пи, , т) = (Па... е). 由 此 可 见 , 利用 正 交 化 过 程 , 可 以 得 到 7 个 
正 交 随机 变量 e1,… ,sr, 使 之 一 切 通过 т.--- ,mm 线性 表示 , 并 且 (па, …… ,mn) = 
D (E1, Er) | 

5. 正 交 基底 和 正 交 化 ”假设 m,n,- 是 五 ?中 的 随机 变量 序列 . 以 (р, ..., 
П) 表示 随机 变量 m,y, o 生成 的 线性 流 形 , ВП У" атп > l,a Е В 的 随 
机 变量 的 全 体 . 以 = Zm, п) 表示 随机 变量 m,m, 生成 的 闭 线 性 流 形 ， 
ЕП 岁 中 的 随机 变量 m,n 及 其 均 方 极限 的 全 体 . 

称 随 机 变量 系 m,n2,… 是 空间 大 中 可 数 正 交 基 (或 完全 正 交 系 ), ШШ: 

а) 71,172, e 是 正 交 系 ， 

b) Z (1,12, .:-) = 12. 

具有 可 数 正 交 基 的 希 尔 伯 特 空间 , 称 做 可 分 的 . 

由 于 条 件 b), 对 于 任意 上 se 17 ЯП є > 0, 存在 实数 a1,:… „ап, 使 


n 
$ 一 Уу, aini 
і=1 


< є. 


那么 , 根据 (3) Ñ, 


ЗЕ 


从 而 , 对 于 可 分 正 交 基 的 希 尔 伯 特 空间 L, 任意 随机 元 素 上 可 以 表示 为 
E= У (E т)т, (13) 


$=1 
确切 地 说 ， | 
E 一 l.i.m. У (Е, Nini- 
i 二 1 


由 此 及 (3) 式 , 可 见 有 如 下 帕 塞 瓦尔 (M. А. Parseval) 等 式 : 
IEI? = У КЕ, т) 2, ЕЕ 12. (14) 
$=1 


个 难 证 明 其 逆 命题 也 成 立 : E тр, то, 是 某 一 正 交 系 , Н (13) AR (14) 式 中 
任何 条 件 成 立 , 则 此 正 交 系 是 基底 . 

举 几 个 可 分 希 尔 伯 特 空间 及 其 基底 的 例子 . 

Я1 EI=R, F = 2R), m P EBRAR: 


Р(-о0,а]= | (дав, vlz) = те 
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记 D = d/dz 并 引进 函数 
(1) Р"(х) 
Hn,(x) = ау о п > 0. (15) 


不 难 求 出 : 
Del(z) = -zp(z) 
D2p(z) = (x? —1)ф(т), (16) 
D? p(x) = (3x — 13)ф(т), 
由 此 可 见 , Н, (х) 是 多 项 式 ( 称 做 埃 尔 米 特 [С. Hermite] 多 项 式 ), 由 (15) 和 (16) Ñ, 
“有 


иена т 


由 简单 的 计算 , 可 得 
(Hm, Hn) = ] Hn(z)Ha(z)P(dz) = f © Ни) Ниауеаа = min 


其 中 0 是 克 罗 内 克 (L. Kronecker) 记号 (бит, = 0, Ж т £ ninm = 1, Ф m = п). 


因此 , 如 果 设 
Н»(х) 


Vn! t 
则 这 些 赋 范 埃 尔 米 特 多 项 式 {л (2) „ро 为 规范 正 交 基 . НА [33, 第 七 章 53] 
ЯП, Ж 


„(х) = 


lim f ерат) < оо, (17) 


则 函数 系 {1,х,12,...} 在 L? 中 是 完备 的 , 即 L 中 的 任意 函数 上 = El), 要 么 可 以 
表示 为 У umla), 其 中 mi(z) = zi; 要么 可 以 表示 为 这 些 和 (在 均 方 意义 上 ) 的 极 
Я. 如 果 对 于 序列 т1\(ж),т]2(ж),--- (m£) = zi) 运用 克拉 默 -~ 施 密 特 正 交 化 过 程 , 则 
所 得 规范 化 正 交 系 恰 好 与 赋 范 埃 尔 米 特 多 项 式 系 相同 . 条 件 (17) 对 于 现在 考虑 的 情 
形成 立 . 从 而 , 多 项 式 {Һ„(х)}»>»о 是 基底 , 说 明 在 所 考虑 的 概率 空间 中 , 任意 随机 变 
Ш & = El) 都 可 以 表示 为 | 


&(ж) = т. У (E, hi)hi(2). (18) 


$=1 
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例 2 设 Q = {0,1,2,...}, P = {Р,,Р»,...} 是 泊 松 分 布 : 
Р„ = ела ‚А > 0. 
W Af(x) = f(x) 一 了 (zx 一 1)(f(x) = 0,2 < 0), 并 仿照 (15) 式 定义 泊 松 — РЯ (М. 


Charlier) 多 项 式 
(一 二 Am” 


П, (x) = Б ‚ 


n > 1,П0 = 1. (19) 
由 于 B 
(Tm, Mn) = у `П»(2)П»(2)Р, = сабъа, 


т=0 
其 中 с, 是 正常 数 , REAR IARAA (т (х) ьо, 其 中 п. (х) = П»(2)/ са 
为 规范 正 交 系 , 并 且 因 为 满足 条 件 (17) 5, {хт„(х)}„>о 也 是 规范 化 正 交 基 . | 
例 3 在 本 例 中 将 要 引进 的 拉 德 马赫 — 哈 尔 (Н. Rademacher—A. Haar) 规范 
ЕЛЕ, 不 但 在 函数 论 中 , 而 且 在 概率 论 中 也 很 重要 . 
设 О = [0,1),Я = .多 ([0,1)), 而 Р 是 勒 贝 格 测度 . 在 81 曾经 指出 , 每 一 个 数 
т Є [0,1) 都 可 以 表示 为 二 进 制 小 数 : 


其 中 zi; = 0 或 1. (为 了 唯一 性 , 我 们 约定 : 只 考虑 在 二 进 制 小 数 中 含 无 限 个 0 的 数 . 
例如 , 对 于 


我 们 只 取 第 一 个 .) 
引进 随机 变量 &1 (т), 22(х),-.., 设 


én(T) = Tr- 
ЖА, 对 于 只 有 0 和 1 两 个 可 能 值 的 任何 а, 有 
P{z:é1 = a1 ,én = аһ} 


‚а , Q2 ат а] @2 Qn 1 
БЕБЕТА ини | 
а1 а» Qn ар аә ал 1 1 
|а ге и tgn’? Роз T чо) от 


由 此 可 见 , &1,é&2,.… 是 独立 伯 努 利 随 机 变量 序列 (图 30 表示 &, = & (2) 和 Е, = & (т) 
的 构造 ). 

现在 如 果 设 R(x) =1- 26, (т), п > 1, ИЖЕ {Rn} (图 31 是 拉 德 
马赫 函数 ) 是 正 交 的 : 


1 
ЕЕ. Rm, = f К.(2) Rm(T)dT = дит. 
0 
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注意 (1, Rn) = ER, = 0. 由 此 可 见 该 函数 系 不 是 完备 的 . 
$) 52(х) 


1 


| EE EE i иын es Пн 


= | 
hjlw 矿 一 一 一 一 一 一 


| 

| 

| 

| 

| 

| 
от 

4 


зо ASAREE 


图 31 拉 德 马赫 函数 


然而 , 拉 德 马赫 系 可 以 用 来 构造 所 谓 哈 尔 系 , 而 哈 尔 系 便 于 操作 , HANERE 
正 交 的 , 并 且 是 完备 的 . 
仍然 假设 О = [0,1),. = .多 (|0,1)). 设 


| 


| Е 1 k | | 
27/2 р, < — п = 27 ФЕ 1<Е< 2), рр 1 
ные | }+1(@), + Dj Т < ТЫШ 十 К, ‚ 7 


0, М. 
不 难 验 证 , Н, (х), п> 3, 可 以 表示 为 : 


2/2, Osr (т, 
Нәт-+1(2) — —2т/2, = 2 一 (mm 十 十) < 2 < 27", 


0, 其 他 . 


1—1 , 
Нэт (т) = Нәт+1 (2- =”) 3 =1,...,2”,т=Ь2,.-.. 
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图 32 是 前 8 个 蛤 尔 函 数 的 示意 图 . 由 图 32 НЫ АН КЕ Е 
质 的 印象 . | 


HŒ) Hx) 


| 1 


| 
| 
| 
| 
| 
| 
| 
| 
| 


| 


不 难 验 证 , 险 尔 函数 系 是 规范 化 正 交 的 , 并 且 在 Li 和 12 中 是 完备 的 , 即 如 果 
对 于 p=1 或 2, 哈 尔 函 数 f = Дт) є L?, 则 
n P | 
(т) — > (№ Нь)Нк(2)| ах — 0, п > оо; 


[ 
0 К=1 


mE, 依 概 率 1 (对 勒 贝 格 测度 ) 有 


ті 


УА Нь)Н (ж) > Ка),п — оо. 

天 一 1 
我 们 将 在 第 七 章 84 证 明 这 些 事实 . 这 些 结果 由 鞭 收 敛 的 一 般 理论 导出 , ЭЕ Н ВУ 
法 在 函数 论 中 的 运用 很 好 的 实例 
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6. 最 优 线 性 估计 如果 m, т 是 某 一 有 限 规范 正 交 系 , 则 如 上 面 已 经 证 明 
的 , 对 于 任意 随机 变量 上 є 12, 在 线性 流 形 #7 = Zm,- т) P, 存在 随机 变量 
Et 在 .多 上 的 投影 ), 使 


| Я = НИ = |: Ce 8 (0, пы). 


这 时 & = > (пе). 这 一 结果 容许 目 然 地 推广 到 п, п2,... 是 可 数 正 交 系 (未 必 
EER) 的 情形 . 具体 地 说 , 有 如 下 结果 . 
定理 假设 туло, ee Z = (1, 1р,:::) 是 由 


рини 


т.т, 生成 的 封闭 线性 流 形 . ЖА, АДЭ ВВМ Е, 使 
| – 61 = Е — CIl : € € Z} (20) 
这 时 ， 
Е = Lim. J 6 mm © (21) 


НЕЕ СЕ. 
证 明 WE d= іа 下 :Ce 2}, УЖ С, Ga, & IE- ll > а. 9, 
在 证 明 此 序列 是 基本 的 . 简单 的 计算 表明 ， 


2 


1 
с = Gl? = 200, - 612216 = 612—456 + em) ~ 


由 于 明显 (Cn + ém)/2 < 2, 可见 


2 
> d, 


50.6) 6 


从 而 |<, т сп |? —> 0, n,m — Со). 

空间 12 是 完备 的 (510 定理 т). 因此 存在 随机 元 & 使 |с, — 41 > о. 由 于 集合 
Z 是 封闭 的 , ЖЕЕЗ. 其 次 , НХ | -|| > а, МЫ |1 -& = 4; 从 而 证 明了 所 
需要 元 素 E 的 存在 性 

现在 证 明 EE Z 中 唯一 具有 所 要 求 性 质 的 元 素 假设 Ee 区 上 且 

| – = IE — Ell = d. 
那么 (由 于 练习 题 3) 
[E+ E- 212 + 1 ДР = 28 - Ell? + 2E & |? = 442. 


但 是 | 
E+E- lP 4 |5 +9 6) >а. 
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从 而 , | EI? = 0, 这 就 证 明了 在 # 中 “最 接近 ”& 的 元 素 的 唯一 性 . 
现在 证 明 一 EliC,Ce. 多 . 由 (20) 式 , 对 于 任意 сє Е, 


Е — E — ссі > JE — £l. 


由 于 А _ 
[ЕЕ сс? = hE — 612 + сс]? — E - E, сс), 


所 以 
с? |<? > 2(€ — E, сс). (22) 


W c= АЕ – ЕС), ЛЕВ, ДЕН (22) Ñ, 得 
(E-E ЗА? |<? — 2А] 20. 


对 于 充分 小 的 正 数 А, 不 等 式 VIC- 2А < 0 成 立 . 因此 (6-20) =0,Сє 2. 
只 剩 下 证 明 (21) R. 
集合 Z = (т, 12,...) 是 的 封闭 子 空间 , 因此 本 身 是 希 尔 伯 特 空间 (具有 
与 І? 同样 的 数量 积 ). 随机 变量 族 n,m 是 希 尔 伯 特 空间 Z 的 基底 , 从 而 


k=1 


HF ЕЕ kl, 可见 (Е, ть) = (En) k > 0. 于 是 ,连同 (23) 式 就 证 明了 (21) 
式 . | 口 

Е 像 有 限 维 情形 一 样 , 称 为 在 Z = Zm, m) 上 的 投影 , & ERKE 
线 , 而 表达 式 

Е=&+(#-8) 

称 做 正 交 分 解 . 

随机 变量 E 记 作 Elm, тр, ) (对 照 第 3 小 节 的 Вт, --- т), 并 且 称 做 (е 
关于 11,12, -.- ВЈ) 广义 条 件数 学 期 望 . 按 由 mn o 估计 的 观点 , 随机 变量 2 是 
最 优 线性 估计 量 , 而 由 (5) 和 (23) 式 可 见 , 估计 量 的 误差 为 


А=ЕЕ- > = |е – £? = |2 – Уе, 0). 
i 二 1 
7. 练习 题 
1. 证 明 , WR E = 11.6, Ж 11 一 IEI. 
2. uE BH, 如 果 E = li.m.én, 和 n = lim., 则 (En: т) — (E, 7). 
3. 证 明 , 范 数 上 .| 满足 “平行 四 边 形 ” 性 质 : 


IE + nl + on) = 201112 + 1112). 
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4. 证 明 , 正 交 随机 变量 族 {&1,… ‚&„}, 满足 “ 毕 达 哥 拉 斯 (Pythagoras) 定理 ” 


п 2 Tl 
>》 人 | = У 1. 
i=l i=1 


5. 设 iiz 是 正 交 随机 变量 序列 , Sn = Ettin. 证 明 , 若 和 ВЕ? < оо, 
则 存在 随机 变量 S(ES? < оо), 使 im.9 = S, Ё (5, – 5? = Е|5„ – S|? — 0,n 一 


со. 


6. 证 明 拉 德 马赫 函数 В, 可 以 定义 为 : 
Р(х) = зїшп(з5ш2°лт), 0<х<1, п=1,2,... 
7. 证 明 , 对 于 ЕЕ LF), 
| > ЕС |8 )||, 


并 且 等 式 成 立 , 当 且 仅 当 几乎 必然 二 = Е(& 3). 

8. 证 明 , Ж Е, пе 1Г2(9 ), Е(Ет) = n, Elne) = E, ДЈ РЕ = т} = 1. - 

9. A F 的 3 个 子 c- 代数 序列 : (FP) (SC 和 (LO). 设 上 是 有 界 随 机 变 
E. 已 知 对 于 每 个 m 有 


ФО СФ с, ЕЕ) En, ЕЕ) n. 


证 明 EEZP) > n. 
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1. 复数 值 随机 变量 ”特征 函数 方法 是 概率 论 的 基本 的 分 析 工具 之 一 . 这 在 第 三 
章 中 证 明 极 限定 理 时 , 特别 是 证 明 中 心 极限 定理 时 表现 得 最 明显 , 中 心 极 限定 理 是 
RRR - 拉 普 拉 斯 定理 的 推广 . 这 里 , 我 们 将 限于 介绍 特征 函数 的 定义 及 其 基本 性 
质 . 

首先 , 作 一 个 一 般 性 的 说 明 . 

除 ( 取 实 数值 的 ) 随机 变量 外 , 特征 函数 还 要 求 考 虑 复数 值 随机 变量 ( 见 85 第 1 
小 市 ). 

随机 变量 的 许多 有 关 定 义 和 性 质 , 都 可 以 很 容易 移植 到 复数 情形 ， 例 如 , Ж 
学 期 望 为 Бє 和 En, 则 认为 复数 值 随机 变量 5 = & + in 的 数学 期 望 定义 为 Ec = 
Её + Ет. 由 随机 元 独立 性 的 定义 6 (85) 不 难得 到 , 复数 值 随 机 变量 а=а ий 和 
C2 = &2 + йо 相互 独立 , 当 且 仅 当 随机 向 量 (€n) 和 (E о) 独立 , 或 等 价 地 о 代 
BF em Я Я’ 相互 独立 . 

与 具有 有 限 二 阶 矩 的 实数 值 随机 变量 的 空间 12 同时 , 我 们 引进 复数 值 随机 恋 
Е (= Etin 的 希 尔 伯 特 空间 , К Е] < оо, |с]? = 22 +12, 并 在 其 中 引进 数量 积 


$12. 特征 函数 ‚ 299. 


(C1, C2) = EGG, Ж С, АНУ. 以 后 实数 值 随机 变量 和 复数 值 随 机 
变量 , 一 般 都 称 为 随机 变量 , 除非 必要 时 才 明 确 指出 具体 是 哪 一 种 . 
还 需要 指出 下 列 记号 . 在 向 量 а св" 的 代数 运算 中 , 向 量 视 为 列 向 量 : 


并 以 a! = (qi1,… ,an) 表示 行 向 量 . 对 于 a,b € R”, 把 Уз 9ibi 理解 为 a Mb 的 数 
量 积 (а,Ь). EA, (а, Б) = аЬ. 
WR ac R”, 而 R= (г,;) Ж пхп ИЕ, ШИ 


(Ка, а) = а! Ва = у, 047430,3. (1) 
2. 特征 函数 的 定义 
定义 1 ЫЕ=Е(т),х = (71,… ,Zn) 是 (RR",. 罗 (R")) EH п 维 分 布 函 数 , 则 
АЖ 
p(t) = ] е 2) 4Р(х), +В", (2) 
Rn 


定义 2 #2=(&,...,&,) 是 空间 (Q, P) 上 在 R” 中 取 值 的 随机 向 量 , 则 
函数 
рее) = | еар а), ве В (3) 
Е" 
PR Fele) 的 特征 函数 , 其 中 Fe = Е. (а), в = (z1,… ,zn) 是 随机 向 量 = (&,..., 
En) 的 分 布 函数 . 
ШЖ F(z) 有 密度 f = f(x), W 


p(t) = | е) +(х)4ж, ЕЕ”. 
Rn 


| 换 句 话说 , 这 时 特征 函数 p(t) 恰好 是 函数 f = f(x) BEH (J. Fourier) 变换 . 
由 (3) AA 56 (关于 在 勒 贝 格 积分 号 下 求 极限 的 ) 定理 7, 可 见 随 机 向 量 的 特征 
函数 也 可 以 由 如 下 等 式 定义 : 


pelt) = Ее, фе В", (4) 


现在 讨论 特征 函数 的 基本 性 质 , 但 是 只 证 明 п = 1 的 情形 . 一 些 涉及 一 般 情形 
的 相对 重要 的 结果 , 将 在 练习 题 中 给 出 . 
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设 с = E(w) 是 随机 变量 , Fe = Е. (т) 是 其 分 布 函数 , 而 
pelt) = Ее“ 

是 其 特征 函数 ， 

立即 可 以 指出 , 者 п = а +b, М 

pnlt) — Бей” 一 Ее (6+6) — е Eet 
因此 | 
pn(t) = еб р, (ай). (5) 
其 次 ， 如 果 £1, &2,: En 是 独立 随机 变量 ， 而 Sn — £1 +... + Én, 则 


ps, (#) = [| ёє,(®). (6) 
j=l 


事实 上 , 由 于 (有 界 ) 独立 随机 变量 乘积 的 数学 期 望 (无 论 是 实数 值 随 机 变量 , 还 是 
复数 值 随机 变量 , 可 见 56 定理 6 MAJE 1), 等 于 其 数学 期 望 的 乘积 , 可 见 


п 
ос.) Вене = peitti -metn = Те. 
4=1 


对 于 用 特征 函数 方法 , 证 明 独 立 随 机 变量 之 和 的 极限 定理 (第 三 章 $3), 性 质 (6) 
ERE, 这 时 , 通过 和 的 各 项 表示 分 布 函 数 Fo, 是 相当 复杂 的 , 具体 地 说 ， 


Fs, = Fe, xere Fe,, 


其 中 符号 “*” 表 示 分 布 的 卷 积 ( 见 58 第 4 小 节 ). 
下 面 是 特征 函数 的 例子 . | 
例 1 设 上 是 伯 努 利 随 机 变量 , Н р{ = 1} = р, Р{Е = 0} =а,р+а= 1,0 < 
р<1, 则 | 
pelt) = ре“ +q. | 
WR 三,… ,é 是 独立 与 & 同 分 布 的 随机 变量 , 则 对 于 Т, = (5, — np)/ трд, 
有 


фт, (t) = P(Sn-np)/ /тра(®) = Еей($»-пр)/ утра 


— е- У 72/4 [рей/ пра + а" — [ре v 9 "Р + де М р/тајп. (т) 
由 此 可 见 , 4 п-ь оо 时 , 有 


фт, (+) е T (8) 
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012 BE~ N(m, 0°), |m] < 0,0? > 0 现在 证 明 


pelt) = eitm- F, (9) 
Я n= (Е -т)/о, W n~ N(0,1), 而 由 (5) 式 
pelt) = етп, (её), 


НИЕ | 
Plt) = ет +. (10) 


下 面 的 一 连 串 式 子 就 可 以 证 明 (10) R: 


其 中 用 到 如 下 关系 式 ( 见 88 练习 题 7): 


7 Ж re аа = En” = (2n — 1)!!. 
例 3 Bé 是 泊 松 随机 变量 ， 
РЕН Ле, К = 0.1... 


则 
| о у co үу К | 
Ее" = у е) = е^ у Qe ) = ехр{Л(е" — 1)}. (11) 


З. 特征 函数 的 性 质 RITE 89 第 1 小 节 曾 指出 , 对 于 (R,. 罗 (R)) 上 每 一 个 分 
MAR Р(х), 都 存在 一 随机 变量 ©, 使 Р(х) ВЯ с 分 布 函 数 . 因此 , 在 叙述 特征 
АН (无 论 是 按 定义 1, 还 是 按 定义 2), 可 以 局 限于 考虑 随机 变量 上 = Elw) 的 特征 
图 数 y(t) = pelt). 

定理 1 设 随 机 变量 上 的 分 布 函 数 为 F= Е(х), 而 


p(t) = Ее" 


是 其 特征 函数 . 
那 А, 有 下 列 性 质 : 
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1) |ф(#)| < Ф(0) = 1; 

2) ot) 对 于 te 机 一致 连续 ; 

3) p(t) = p(—t); | 

4) olt) ХУЖЕ LRR, ХУЖЕ = Р(х) Жр, Вр 


J dF(x) = / а(х), В є.8(К), -B ={-х:тЕВ}; 
В -B 


5) w RIERA n >1,Е|&|" < оо, 则 对 于 一 切 7 < n, 存在 导数 p(t), в 


(r) — $ Тейт 
pt 人 (izjrettzdF(z)， | (12) 
Eé = eTo (13) 
о) = у; ве 0000, (14) 
5А 


其 中 len(t)| < ЗЕ& "В. =. (2) — 0,t — 0; 
6) 如 果 存 在 有 限 导 数 0") (0), 则 ЕЁ? < оо; 
7) юж) n 1, El <œ Н 


пуі/п 
БЕН" 1 
则 对 于 一 切 |t < Т, 
=». Ч вет, (15) 
п=0 у 


证 明 性 质 1) 和 3) 显然 . 性 质 2) 由 下 面 的 估计 式 
jl 十 问 一 2 全 | = [Ве (е — 1)| < Ее — 1 


和 控制 收敛 定理 , 以 及 当 疡 一 0 Ее" – 1 一 0, 可 以 得 到 . 
证 明 性 质 4). 假设 分 布 函数 Р = Р(х) 对 称 , 则 对 于 有 和 界 博 雷 尔 奇 函 数 g(z), 有 


J gz)dF(z)=0 
(注意 , 对 于 简单 奇 函 数 , 这 由 函数 F 的 对 称 性 的 定义 立即 可 以 得 到 ). 因此 
J sin іла (x)= 0, 故 y(t) = Ecosté. 
相反 , 设 p(t) 是 实数 值 函数 , 则 由 于 3), TI 


p-lt) = pel—t) = pelt) = pelt), ЕВ. 


оз важ ‚ 303. 
由 此 (这 将 在 下 面 的 定理 2 证 明 ), 可 见 随机 变量 —© 和 & 的 分 布 函数 Fe 和 Fe 相 
等 , 因此 (根据 53 的 定理 1), 对 于 Ве.) 有 
Р{ ЕВ} =Р{-& Е В} =Р{ёЕ-В}. 


证 明 性 质 5). WR Е" < co， 则 由 李 亚 普 诺 夫 不 等 式 ($6 的 (28) 式 )， 有 


EJE < оо, "< п. 


考虑 关系 式 ой к 
ФИЛ) — yit ae [ее 
AEN кен (SEN 
由 于 | 
eihs — 1 
ИН 和 В < oo 


可 见 根据 控制 收敛 定理 , 存在 
не [6% —1 
pm Ee ( һ ) | 


等 于 е 
Ее" lim (21) = Е (te'™) =i f ze*tdF(z). (16) 


—* С) 


因此 , 存在 导数 y(t) Н 
p'(t) = iE(te') = if теа (а). 


用 归纳 法 可 证 明 , 导数 шо) (1) (1 <т<п) 的 存在 性 , (12) 式 的 正确 性 . 
直接 由 (12) 式 得 出 (13) 式 . 现在 证 明 表 达 式 (14). 
由 于 对 于 实数 у, 有 


eY = соз у +2510 у = у (у) 十 ми [cos Qiy + isin 053|, 
大 一 0 


其 中 |81| < 1,1051 < 1, 可 见 


-У s (ie)! +087 2—2 [соѕ 0; (0) + isin Өо(ш)їё|. (17) 


Бе — у` ке Ë 和 -一 一 | 也 上 + en (2)], (18) 
k=0 


其 中 
en(t) = E{é"[cos 0 (ш)ї& + isin бо(ш)}{& — 1}. 
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BA, jent) < 3Blé"|, MERRER HKA E, 5 to 时 , en(t) — 0. 
证 明 性 质 6). 用 归纳 法 证 明 . 首先 假设 导数 (0) 存在 并 且 有 限 . 证 明 E£? < оо 
根据 洛 必 达 (С. L’hospital) 法 则 和 法 图 引 理 , 有 


‚‚ ТФ (21) -9 (0) ф(0)—(—2/Л) 
Р; __ 2 
p (0) = 15 | 2h Т Zh 
р 2 (21) — 2 (2h) — 1 Е 
= Шш ар lm gpa (28) — 20(0) + p(—2h)] 


со еїһ® __ e 一 ?AZ 2 со sin hz 2 
= | 一 -一 一 一 一 а(х) = ~li 一 一 一 | р? 
һо Г ( 21 ) dF (2) = — lim 人 ( hz ) та (т) 


cc : 2 оо 
< - | lim (=. Хаб (х) = - | z dF(z). 
— po #—*0 hx — oc 


Сх 
/ т°аЁЕ(х) < —у”(0) < оо. 


现在 假设 (2852000) 存在 而 且 有 限 


从 而 


/ rdF(r) < оо. 
/ z2dF(z) =0, №] ] rtd F(x) = 0. 


因此 , 我 们 将 假设 _ 
J х"АР(х) > 0. 


那么 , 根据 性 质 5), 有 
pe) = ] (iz)2kestzdF(z)， 


因而 
(060080) = | ена) 


其 中 G(z) = Г и2каЕ (и). 
从 而 , 函数 (—1)К ур (0)С-1(оо) 是 概率 分 布 G(x) х С (оо) 的 特征 函数 , +В. 


根据 已 证 明 的 , 有 _ 
G= (o0) | r dG(z) < оо. 


由 于 С (оо) > 0, яу М, 


/ ж°^+ФаЕ(х) - | х°аС(х) < оо. 


оо 
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证 明 性 质 7). 设 0 < < Т, 则 利用 斯 特 林 公式 (第 一 З 02 (6 ) 式 ), 有 


п\1/п ninyl/n Elél"tn 1/п 
pm Чё) 一 < 二 => hm <1 = lim БЕ £l та) < 1 
n 0 


从 而 , 根据 柯 西 准则 , 级 数 ус Ес! 收敛 , 因此 对 于 任意 || < в, 级 数 
> о EE (it) /т! ЭХ. 而 由 (14) 式 


(t) = Di Gae + „(л > 1, 其 中 |. < ЭГЕ". 
于 是 , 对 于 一 切 < т, 有 
о) =}; “ке н 


#1 与 (14) 式 的 证 明 类 似 , 可 以 验证 , 如 果 对 于 某 个 n> 1,Е|&|® < оо, 则 


y(t) = 3 20287 Г. хе тАЕ(х) + et — 8), (19) 
к=0 тоо ' . 
其 中 |en(t s)| < ЗЕ|Е"”|, MH t — 3—0 В є„(#— s) — 0. 
+2 ”关于 性 质 7) 中 的 条 件 , 参见 下 面 的 第 9 Ат НЮ 
的 内 容 . 
4. 特征 函数 唯一 决定 分 布 函 数 下面 的 定理 表明 , 特征 函数 唯一 决定 分 布 函数 . 
定理 2 (8—8) 假设 已 和 G 是 具有 同一 特征 函数 的 分 布 函数 , 即 对 于 一 切 
ЕВ, 
] р еа (х) = J | е“4С (т). (20) 
那么 F(z) = G(r). | 
证 明 EE а, bE R, = > 0, 并 且 考 虑 图 33 所 表示 的 函数 产 = у(х). 现在 证 明 : 


| fwarts)= | Fodca) (21) 


0 a а+ғ b b+ 
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B n 之 0 满足 [a,b 十 a] С [-п,п]; 数列 {6%} 满足 1 >б„ 40,n — оо. f° = Fe(z) 
作为 [-п,п] 上 的 连续 且 在 端点 上 等 值 的 函数 , 可 以 用 三 角 多 项 式 一 臻 逼近 的 (维尔 
斯 特 拉 斯 - 斯 通 [M.Stonel) 定理 , 即 存在 有 限 和 


по = Уокер (ит, ), (22 


使 
вир |1“(т) — a(s) < ôn. (23) 


对 于 所 有 ге В ЖЖ |= (т) 进行 开拓 , 并 注意 到 


sup (2) < 2. 


那么 , 由 于 (20) 式 _ 
/ /5(ж)4Е (2) = J fs(z)dG(z), 


可 见 
| |J" Foda) - |" удао) = ағ f" racl 
«Г kar- Г ај а 
<|/ rar- |7 аа + 28n + 2P (=n; 0) + 200%) (24) 
其 中 


Е(А) = 上 а(х), С(А) = ] dG(z). 

№ п > оо 时 (24) 式 的 右 侧 趋向 0, 从 而 (21) 式 得 证 . 

Ч e — 0 R} f(z) > haale) 因此 根据 控制 收敛 定理 , 由 (21) 式 , 可 见 

| Tanda) = [| Tayl), 

BH F(b) — F(a) = G(b)-G(a), 而 由 于 a 和 4。 是 任意 的 , 可 见 对 于 一 切 x ER, F(x) = 
G(x). TÆ, 定理 2 得 证 . 口 

5. МАХ Е ЛЕНИ, 分 布 函 数 F = F(x) 唯一 决定 于 其 特征 函数 

定理 3 (ИАА) BE F = Р(х) 是 分 布 函数 , 而 


p(t) = / С емар (х) 
Җ НААЖ. 
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а) ЯАЖ F = Р(х) 的 任意 两 个 连续 点 a 和 bla <b), 有 


С A—ita __ a—itb 
F(b) – F(a) = lim Ей 一 一 一 一 (bdt (25) 
b) жж Ж | |Ф( 9 < ©, UDA Р(х) Я ЖА f(z): 
= -f | Г(у) ду, (26) 
Ах) = > Г. е "фа. (27) 


证 明 ”首先 注意 到 , 如 果 函 数 F(z) 有 密度 f(x), 则 
p(t) = Г. ей f(x)dx, (28) 


因此 (27) 式 恰好 是 (可 积 ) 函数 р(х) 的 健 里 叶 变 换 . 在 (27) 式 两 侧 同 时 积分 , 并 运 
АЕ ЛВ Е, 得 


F(b) — F(a) = J хе = 二 Г. сте айт 


1 оо Ь | 1 OO е 0 __ е 36 
= — f t е “= | ағ = — (6) — dt. 
元 /ed / : 0002—26 


在 完成 了 对 (25) 式 一 定 的 说 明之 后 , 现在 开始 证 明 (25) R. 


a) 有 
1 с еа _ #0 1 с ета _ еб оо 
Ф, = -— “__ = — _—_ | iti 
эт /_. + p(t)dt эт ГА Р fe dj dt 
1 оо с е ѓа Еа e` itb a со 
==] / е at dF(x) = J. V(r)dF (72), (29) 
其 中 , 设 


V(x)=— / е, 


ет а __ е 0 
< b ~a, 


— 
-Sinir 


b 站 
] е “т 
а 


[ / е — a)dF(z)dt < 2c(b — а) < оо, 
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可 见 应 用 健 比 尼 定 理 是 合理 的 . 其 次 ， 


1 fE sint(x—a}— sint(z — Б 
v(a) = z | май а) зшңт 0) a 


_ 1 сіта) зїп ө, ОТ с(х-Ь) іру (30) 
2N —с(т-а) 0 27 —с(тх—Ь) u 
函数 
t. 
g(s,t) = ] аи 
s v% 
关于 s 和 + 一 致 连续 , 且 当 s| -oo +71 оо 时 
9(8,Ё) 一 л. (31) 


因此 , 存在 常数 С, 使 对 于 一 切 с 和 т, 有 [Фе(т)| < С < оо. 此 外 , (30) 和 (31) 
式 , 可 见 


V(x) — Чф(т),с 一 оо, 


其 中 


1/2, # т-а й т 6, 


0 тать, 
у(х) = 
1 Ha<r<hb. 


виз (R, 2R) 上 的 测度 , E ula, = Е(Ь) – F(a). WA, 运用 控制 收敛 定 
EA 53 练习 题 1, 4 c 一 oo 时 , 有 


de= | чае) — | zjdFtz) = ple,b) + Zula} + ufo) 


= F(b-) — F(a) + 2[Е(а) — Е(а—) + F(b) — Е(—)] 


_ Еф) + ЕФ-) Е(а) + Е(а–) 
2 


其 中 最 后 一 个 等 式 对 于 函数 F) 的 一 切 连续 点 a ЖЬ 成 立 . 
TÆ, (25) 式 得 证 . 
b) 设 [2 |wp(t)ldt < оо. За 


f= | pat 


由 控制 收敛 定理 知 , 此 函数 对 zx 连续 , EKA [а, 5) 上 可 积 . 所 以 仍 可 以 应 用 傅 比 
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EEH, 可 得 对 于 一 切 函 数 F(z) 的 一 切 连 续 点 a 和 和 b, 有 
[ Jí ad= f 2 / zita О dz 
= 一 - =з] _ p(t) | [ саг dt = lim -J | p(t) | / еш dt 


= lim le е, ЧЕ = F(b EF 
сз со Je эл it (0) ( ) — (а) 


由 此 可 见 | 
= [ f(y)dy, тЕВ, 


而 且 因 为 Р(х) 连续 , В. Р(х) 是 不 减 函数 , 所 以 f(z) 是 Fa) 的 密度 . 口 
+ 逆转 公式 (25) 给 出 了 定理 2 的 另 一 证 明 . | 
定理 4 Ма = (&1,… En) 的 分 量 独 立 的 充分 和 必要 条 件 是 ,其 特征 函 

数 等 于 各 分 量 特征 函数 的 乘积 : 


Бе“&:+ ttnn) 一 П Бек. (+1, ... sin) є R”. 
证 明 由 练习 题 1, ТЫ ЗЕЕ MARAE Б F(z1,. ,Tn) AREN 


С (ти, ... , Tn) = Fi (xi). F(zn). ЖА, нее 对 于 一 0] (1, " “ tn) Е 
Е", 有 


| 上 и Са, = П ек аР, (ть) 


п 
— П Кей*& Бе.) — Му о Е, ... En). 


т. 


k=1 | 
TÆ, 由 定理 2 (确切 地 说 , 由 定理 2 的 多 元 类 似 ; 亦 见 练习 题 3) 可 见 , 根据 55 的 定 
理 , 随机 变量 61，,… En 独立 . и 


6. 特征 函数 的 必要 条 件 ”在 定理 1 中 包含 特征 函数 的 某 些 必要 条 件 . 例如 , 假 
如 函数 = plt) 不 满足 该 定理 的 前 3 个 条 件 之 一 , 则 这 一 函数 就 不 是 特征 函数 . 

验证 我 们 所 感 兴 趣 的 函数 о = plt) 是 否 特性 函数 , 是 一 项 复杂 的 事 . 下 面 给 出 
这 方面 一 些 结果 (不 加 证 明 ). 

定理 (WHA 一 ЗХ [S. Bochner 一 A. Я. Хинчин|) # p(t),t є, 是 连续 
‚ ЖЖЕ (0) = 1.0(1) 是 特征 浮 数 的 充分 和 必要 条 件 是 , ВАРА Ж, 即 对 于 任 
ЖЖ Ы, ,tn 和 对 于 任意 复数 和 1,… ,An,n = 1,2,…, 有 


УС, —4;)МАу > 0. (32) 


ї,?=1 
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条 件 (32) 的 必要 性 显然 : 因为 如 果 


p(t) = | еар (2), 


— ©) 


则 


2 
АР(х) > 0. 


n 


2. p(t tj )AiA; J 

条 件 (32) 充分 性 的 证 明 比 较 困 难 .( 参 见 [69] 的 T.2, X IX.2). 

定理 ( 波 利 亚 [G. Polia]) 1 y(t) 是 连续 函数 、 偶 函数 、 在 (-oo,0) 上 (E 
此 在 (0, оо) Е) 是 四 函数 (ити) 且 满 足 条 件 : p(t) > 0,0(0) = 1,0(Ф) 一 
O(t 一 оо), ЖА, p(t) 是 特征 函数 (参见 169] 的 Т.2, X У.2). 

这 一 定理 提供 了 构造 特征 函数 的 相当 方便 的 方法 . 例如 , 函数 


п 
у Льей к? 


k=1 


Pp1(t) = е, 
е #ир<1, 
palt) = В > 1. 


就 是 这 样 的 函数 . 

34 所 表示 的 函数 wa(z) 也 是 特征 函数 . 在 区 间 [-a,al 上 wa3(z) = ф2(х). Ж 
而 , 与 它们 对 应 的 分 布 函数 Р» 和 Ез 显然 不 同 . 这 个 例子 表明 , 在 有 限 区 间 上 特征 函 
数 相 同 , 一 般 分 布 函数 未 必 相 同 . 


定理 (BHIS [J. Marcinkiewicz]) 如 果 特 征 函数 oft) RAH A exp Z(t), 
其 中 #() 是 多 项 式 , 则 此 多 项 式 的 次 数 不 可 能 大 于 2( 见 [135, 7.3]. 

例如 , 由 此 定理 可 见 , 函数 exp{ 一} 不 是 特征 函数 . 

7. 茶 些 特殊 分 布 的 特征 函数 ”下面 的 定理 是 用 例子 表明 , 如 何 根据 随机 变量 的 
特征 函数 , 作出 关于 此 变量 的 不 平凡 的 论断 . 

定理 5 设 pelt) 是 随机 变量 & 的 特征 函数 . 
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а) 如 果 对 于 某 个 如 天 0,|pe(to)| =, Е FKA h= 2r/ltol 的 格 点 随机 变 
Ж, Pp | 
У Р{ё=а+пћ} =1, (33) 
其 中 о 是 常数 . 
b) 如 果 对 于 两 个 不 同 的 点 t 和 at, 其 中 а 是 无 理 数 , 有 |wpe(t)| = |pe(at)j| = 1, 
则 随机 变量 上 是 退化 的 : 
Р46 =а} = 1, 


其 中 a 是 常数 . 
с) 如 果 pelt) = 1, 则 随机 变量 上 是 退化 的 . 
证 明 а) WR pelto) = 1,to #0, 则 存在 实数 a, 使 юр) = ей <. ЖА, 


е ов = / е-%%®аЕ(х) = 1 = ] е -ad F(x) = 
— оо 一 Ce 


OQ 


=> 1 = ] соз 0 (1 — а)АЕ(т) = Г [1 — сов (х — аа (а) = 0. 
由 于 1 一 costo(7x – а) 20, 由 86 #2 MTA H, 可 见 (Р а.с.) 5 
1 = cos %(& —а), 


而 这 与 (33) 式 等 价 . 
b) 由 假设 |pe(t)| = |wpe(at)| = 1 ЖП (33) 式 , PA 
一 тп 一 2лт 


1 二 一 OO 


ЖЖ & 是 非 退 化 的 , 则 在 集合 


2 2 
СЕЖЕ СЕЕ 


上 至 少 存在 两 个 不 同 的 点 : 
дпп] _ LTM] ZTN 2тттәо 
а+ =} обв = at | 
由 此 得 
27 27 
— (п: — пә) = (т — тд), 


而 这 与 假设 “a 是 无 理 数 ” 矛盾, 故 b) 正确 . 此 外 , 由 命题 b) 可 得 命题 с). Г 
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pelt) = Ее", t= (ti, №), 


是 它 的 特征 函数 . 假设 对 于 某 个 n> Е" < 00,1=1,-.. ,k. 由 56 ИЛК ЛУ 
A (29) 和 李 雅 普 诺 夫 不 等 式 (27), 可 见 对 于 一 切 非 负 v, р, В м +. 十 < 
n (WA) Ж Е (Е... E) 存在 . 

如 定理 1, 由 此 对 于 vi +... + < п, 可 见 偏 导数 


Orit vk 
n amumo £ ‚... ‚Ё 
ОЕ! ... Ән, ФЕ( 1 к) 


的 存在 性 和 连续 性 . 那么 , 将 фе, t 展 为 泰勒 级 数 , 可 得 


171 +: 


а.в) = У тет к.н + olt), (34) 


DT wk! 
ете. К 


= ++ 而 


пе вер А 


是 = (1,… ик) 阶 (混合 ) 2. 
函数 pelti ,tk) 连续 , pe(0, ,0) = 1, 因此 在 0 = (0,… ,0) 的 某 邻 域内 
СЕ < 9), pelti e ,tk) 关 0. 在 此 邻 域内 存在 连续 偏 导 数 


Vit tYk 
ЭШТЕ el sta) 
k 


其 中 将 ш z 理解 为 对 数 的 主 值 (假如 z = те, п <0 < пт, 则 假定 jnz 为 jnr + 30). 
因此 jn pelti, e. tk) 可 以 表示 为 泰勒 公式 


drite Hn 


УТ 


TSE "ви + olle), (85) 


ш фе(, в) = У 
vit Бит 
其 中 系数 з") ВЕЛАТ ё = (&1,… 66) 的 v= (иссо) 阶 (混合 ) + 
不 变量 或 累积 量 . 
注意 , ШЖ. EM n 是 两 个 独立 随机 向 量 , 则 


Іа yernlt) = ln фе(#) + аф, (ё), (36) 
因此 
вру) — вк" + вив), (37) 


(也 正 是 这 一 条 性 质 说 明 “ 半 不 变量 ”名 称 的 合理 性 .) 
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为 简化 记号 , 并 且 使 (34) 和 (35) 式 上 共有 “一 维 ” 的 形式 , 我 们 引进 如 下 记号 . 
ШЖ и = (vi,… ,vk) 是 具有 非 负 整数 分 量 的 网 量 , Mi 


V! = 01-5), || =, Е = Вр. 


亦 设 
SE в mE) = mE, 
那么 ,(34) 和 (35) 式 具 有 如 下 形式 : 
| 
1 М] рі n 
pelt) = J, me t + olt”). (38) 
[sn 
‚|| 
l И) 417 п 
ш pelt) = > Ts + о([4|"). | (39) 
|21 < 


ТРЕКИ ААНЕИ ЖУК. 

定理 6 ЖЕ = (6 ,Ek) 是 随机 人 向量 ， 满足 Е!” < œ,i= 1,- kyn > 1. 
那么 , 对 于 一 切 v = (v1,… в) В. |v| < п, 有 
(у) _ 1 ! ы (в) 
Me = >. а л@)!... A П sé , (40) 


№11) +..-4 (а) = р=1 


— q 
(и) _ (—1) 1 y! (АР) 
а ри Ц" › (41) 
ADLAD p=1 


其 中 E 表示 对 于 一 切 满足 0] >00 +... +9 二 上 的 “有 序 非 负 
Аа) +-...+ (а) =ы | 
整数 分 量 的 向 量 ХР)” ЖЖ. 
证 明 由 于 


pelt) = exp{ln pelt)}, 
则 将 exp{:…} 展 成 泰勒 级 数 并 考虑 到 (39) A, 得 


q 
一 ДА 
Фе) = 1+ 5 | >. Фе) + об"). (42) 
Ч=1 *° Ҷ\і<|А|<ә ” 
比较 (38) 和 (42) RAM г 的 项 , 并 考虑 到 |AG)| +... + Аба) | = АО) К+ Х(9) |, 
得 (40) <. 
ЖХ, 


ДА 
In фе (6) = In i +5 rmp e такт | (43) 


1<|A|gn 
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对 较 小 的 z 有 如 下 展开 式 


ln(1 + 2) -VE — 21 + 0(2”). 
4=1 


将 此 展开 式 用 于 (43) А, 然后 将 项 的 系数 与 (38) 式 右 侧 相应 项 的 系数 比较 , 得 


(41) ж. п 
#1 在 给 和 半 不 变量 之 间 有 下 列 公 人 式 : | 
и 1 (АЧ?) гу, 


{г А) +. +, А) =r} 


—1)9-1(0 — 1)! | (5) 
з н е бшу: Ци», өв 
{r AD r, А) =и} j=i 
其 中 У) 表示 对 于 一 切 满 足 | 和 人 D| > 0,г АЗ +...+г. А) = 的 “有 
{r AD er A) =и} 
АЕ Ж г: 的 数组 ” 求 和 . 

为 证 明 (44) R, 假设 (40) 式 中 相应 地 有 r 个 向 量 等 于 AGD, ,rz 个 向量 等 于 
№) (п; > 0,ri 十 … 十 rz = д), 而 且 所 有 向 量 АС) 两 两 不 同 . 恰好 存在 (ги! rz 
个 不 同 的 向 量 组 (精确 到 顺序 ) 与 向 量 组 A,- , ^9)) 重合 . 然而 , 假如 两 个 向 量 
组 , 例如 , Aa,- AD) 和 (С... 9) 仅 区 别 于 分 量 的 顺序 , 则 


He -TS 
所 以 , 可 以 将 仅 区 别 于 顺序 的 数组 视 为 同一 数组 , 则 由 (40) 式 得 (44) 5. 

类 似 地 可 以 由 (41) 式 得 (45) A. 

系 2 考虑 v = (1,… ,1) 的 特殊 情形 . 这 时 , 矩 те” = Беу... 以 及 相应 的 
半 不 变量 称 做 简单 的 . 

联系 简单 矩 和 半 不 变量 的 公式 , 可 以 由 上 面 给 出 的 公式 得 到 . 不 过 , 最 好 将 其 写 
为 男 一 种 形式 . 

为 此 引进 下 面 的 记号 . 

设 Ile = {1,2,… ,k} ЕНЕ © = (&1,… ,&4) 之 分 量 下 标的 集合 . ВТС Ie, 
则 以 & 表示 由 下 标 属于 了 的 同 量 & = (&1,… ,&) 之 分 量 构成 的 同 量 . 设 x(7) 表示 
HÈ {x,,… ,x,), 其 中 , Же Г ү, = 1; 1 ё Г Их, = 0. 这 些 向 量 与 集合 
IC Ie 一 一 对 应 . 因此 ， w 


те() = — D). ве(Т) = в». 


换 委 话说 ， тё(Г) 和 Se 了 ) EE £ = (E1, ,Ek) уни, 6, ВНЛ 
变量 . | 
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其 次 , 根据 定义 ( 见 第 一 章 81 第 3 小 市 ), 集合 Г КУР, 指 不 相交 非 空 集合 Ip 
组 , ШЖ У 1p = Г. 
鉴于 这 些 记 号 , 有 如 下 公式: 


9 
т() = Уу, [[50), (46) 
Ур: Ip=I p=1 
, q 
80) = У CD) (DT meU), (47) 
> 1p=1 р=1 
其 中 У 。 表示 对 于 集合 了 的 一 切 分 割 求 和 , 其 中 1 <g < NU), 而 МИ) 是 集 


Dj- 1ь=1 
合 了 中 的 元 素 个 数 . 

为 证 明 (46) A, 要 借助 (44) 式 . WR v = x(T) A AD +... А = и, ЈА) = 
X(1p), Ip СІ, 一切 А) 各 不 相同 , ХФ! = и = 1, 且 每 一 无 序 组 {x(11),:… ,x(10)} 
与 分 割 了 = У 1,1, 一 一 对 应 . 从 而 , 由 (44) 式 得 (46) R. 

类 似 地 , 可 以 由 (45) 式 证 明 表 达 式 (47) 的 正确 性 . 

Я 4 设 是 随机 变量 (k= 1), т, = т = ЕЕ", з, = s. ЖА, 由 (40) 和 
(41) 式 得 如 下 公式 : 


mi = 81, 

m2 = 82 + 81, 

m3 = 83 + 38182 + 83, (48) 
Па = 84 + 385 + 48183 + бз 82 + 8%, 


* я ù В иН p тт ИЖ И p а в 


81 = mı = E£, 

52 = M2 一 m? = Dé, 

53 = тз — Зтуто + 2m1, (49) 
84 = M4 — 3m3 — 4т тз + 12тйто 一 6m4, 


#15 ~ М(т, 02), 由 (9) 式 可 见 
Ро? 
ln pe(t) = itm — pt 
由 (39) Å sı = т, s2 = 02, 而 从 3 阶 起 一 切 半 不 变量 都 等 于 0, 即 sn = 0(n > 3). 
НН, 由 于 马 钦 遍 维 奇 定 理 , ЖЕШ ep (+) 的 函数 , 其 中 F(t) 是 多 项 式 , 则 
只 有 当 该 多 项 式 的 次 数 不 大 于 2 时 , 才 可 以 做 特征 函数 . 特别 , 由 此 可 见 高 斯 分 布 是 
共有 下 面 性 质 的 唯一 分 布 : MEA n > 3 起 一 切 半 不 变量 s,, = 0. 
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pe ВЕ ЖЬ У А> 0 的 泊 松 随机 变量 , 则 根据 (11) A, 
In pe(t) = (ей — 1). 


由 此 可 见 , 对 于 一 切 n 之 1, 有 
sn = А. (50) 


例 7 МЕ= (E ‚&ь) 是 随机 网 量 , 则 


me(1) = 8=(1), 
тё(1,2) = 8&(1,2) + 8&(1)8=(2), 
me(1, 2,3) = 8Е(1,2,3) + 8=(1,2)3=(3) + 8&(1,3)3=(2), (51) 
+8 (2, 3)Е(1) + se(l)se(2)se(3), 


+ же з п № $ 


这 些 公 式 表 明 ， 简单 矩 可 以 相当 对 称 地 通过 简单 半 不 变量 表示 .假如 设 & = & 
=... = k, ШЕ (51) 式 目 然 地 得 到 (48) д. 
由 (51) 式 可 见 公式 (48) 中 系数 的 “组 群 ” 来 源 . 此 外 , 由 (51) ATA, 


5 (1,2) = тЕ(1, 2) ~ те(Т)те(2) = Е &1ё2 — Ес 86, (52) 


ВВ 5 (1,2) 怡 好 是 随机 变量 & 和 &2 的 协 方差 . 

9. БН АОН — RENEE Е 的 分 布 函 数 为 Р(х), 特征 函数 为 olt) В 
9 — ЈИЕ т = Бе", п > 1. 

由 定理 2 知 特征 函数 唯一 决定 概率 分 布 . 现在 提出 另 一 个 问题 Ов 性 问 

): Ж {mnjnzl 是 否 唯一 决定 概率 分 布 ? 

更 确切 地 说 , 假设 两 个 分 布 函数 Е ЯП С 所 有 的 矩 都 相同 , 即 对 于 一 切 整数 n> 0 
有 ` , 

] хтаЕ(т) = | х"ас(х). (53) 


辐 由 此 是 否 可 以 得 出 РЖ С 相同 的 结论 ? 
一 般 , 对 该 问题 的 回答 是 否定 的 . 为 证 实 这 一 点 , 我 们 考虑 分 布 函数 F, 假设 其 
密度 为 
ке-©®®', Ж T > 0, 
ло = | # х < 0, 


其 中 oa > 0,0 < 入 < 1/2, 而 常数 上 由 规范 性 条 件 [ ”f(z)dz = 工 决定 
W 8 = atan Ат, Mj 0 


0(®) = кеа] + є5іп(82^)], |6| <1, => 0. 
0, Fro 


512. 特征 函数 " 317. 


显然 glz) > 0. MERIEN TMAX n > 0, 
Г т”е”©®^ sin @х^ах = 0. (54) 


ЖЖ, 对 于 p > 0 和 复数 g 的 实 部 Re g > 0, 有 


ГЕ 71е = Г(р) 
0 ЧР 
设 р = (п + 1)/А, = а +18, = x^, М 


OO OO 
0 


0 


OO OO 
入 ， A . 
一 a f Te ®® cos 8r*dzr 一 ia | Zne-cz sin Br*dz 
0 0 


п + 1 
т 
оа (1 + вап Ат) 5. 
但 是 , 由 于 sin(n + 1)т = 0, 有 


(1 + ап Ar) = (cos Ал + isin Ar) X (cos ar) 5 


= е "ИЯ (соз №) Y = соѕ(п 十 1)T х (cos Ат) 2. 


这 样 ,(55) 式 的 右 侧 是 实 的 , 即 对 于 任意 整数 n> 0, (54) 式 成 立 . 现在 G(z), {Е 
为 取 以 g(x) 为 密度 的 分 布 函数 . 那么 , 由 (54) 式 知 分 布 函数 Р 和 С 的 一 切 矩 对 应 
相等 , 即 对 于 任意 整数 n > 0, (53) 式 成 立 . 

现在 引进 保障 矩 问 题 唯 一 性 的 某 些 充分 条 件 . 

定理 7 BAF =F) ARAK, BIF nl, 


如 果 
< оо, (56) 


Й) Е {mn }»>ъ› 其 中 wo 
m= | т"аЕ(т), 


唯一 地 决定 分 布 函 数 F = Р(х). 
证 明 由 (56) 式 和 定理 1 的 命题 7), 可 见 存 在 to > 0, 使 对 于 一 切 lt| < to 特 


СЖ) 


征 函 数 y(t) = ] ettzdF(z) 可 以 表示 为 
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AMIE {т„ „>: 对 于 一 切 |А < to, 唯一 决定 特征 函数 ot) КИН. 
取 点 s,|s| < 20/2. ЖА, 如 同 (15) 式 的 证 明 , 由 (56) 式 可 以 导出 , 对 于 一 切 
| — 8| < Ёо, 


оо Ak 
p(t)= >. Eo) (5), 


k= 


> 


其 中 
pP (s) = | resrdF (х) 


唯一 决定 于 和 抢 (т, >. 从 而 , 对 于 一 切 | < 310/2, 这 些 乞 唯一 决定 特征 函数 p(t) 
的 值 . 继续 这 一 过 程 可 以 断定 , 对 于 一 切 t, Я (т) 唯一 决定 特征 函数 olt), Ж 
也 唯一 决定 分 布 函数 F(a). - 
R1 给 唯 一 决定 集中 在 有 限 区 间 上 的 概率 分 布 . 
系 2 和 矩 问题 唯一 性 的 充分 条 件 是 : 


па И) < оо. (57) 
为 证 明 只 需 注意 到 , 对 于 奇数 阶 矩 分 部 估计 , 然后 利用 条 件 (56). 
] _{? 
F(x) = z=] ° 202 dt. 
那么 ， 


(2л)! 
2 
топ-1 = 0, Mn = от е if 


而 由 (57) A, Н] ЙЕ Е НЕЕ НУР. 
最 后 , 我 们 引进 卡尔 芋 曼 (T.Carleman) 准则 (不 加 证 明 ). 
卡尔 莱 曼 准则 ( 矩 问题 的 唯一 性 ) [69, № 2, М.З.) 
а) Ж {mm}n>1 ARMES iE, Н. 


~ 1 
24 (mn) т) > 


那么 , {mn}wn>1 唯一 决定 概率 分 布 . 
b) 如 果 {mn inzi 是 集中 在 [0, со) ЖЖ ЖЕ, Я] {Mn nz] 唯一 性 的 充分 
+ Ж 


= Со). 


Me 


1/(2 
一 т / (2n) 


З 


$12. ЗЕМ | ‚319. 


10. 埃 森 不 等 式 F= F(x) МС = Ga) 分 别 是 以 上 = ГО M g= g(t) AR 
征 函 数 的 分 布 函数 . 下 面 的 定理 说 明 ( 略 去 证 明 ), 根据 f 和 g 的 接近 程度 , 如 何 (在 
HIRET) itr FA G 的 接近 程度 . (关于 该 定理 的 应 用 见 第 三 章 511.) 

定理 ( 埃 森 [C. С. Esseen) TER) 设 G(z) НН sup。|G'(zj| < С. М 


ЛО — g) 940 | dt 十 22 sup IG (x)|. 


T 
sup |F(z) — G(2)| < 2 ] 


Т 


11. 常见 分 布 的 特征 函数 表 表 2-4 和 表 2-5 是 一 些 常见 分 布 的 特征 函数 表 : 


| 2—4 


离散 均匀 


И. Poison) 
меу 


2—5 

2 

е? 6 __ ей а 

[а, Б] 上 的 均匀 а) 

正 态 或 高 斯 {a 242 
(С. Е. Gauss) РТ 5 | 
M5 (Г) (1 — it8)-° 
Д (о) у _ тетю _ 
Го) 2, kiT'(a + 8 + К)Г(1 + k) 
А 
б Х2ейа 


— ея 


t (HE) Уе. 2 (КС к Ут)" СЕ, 


F т = (п +1)/2 是 整数 


ИЙ (A. L. Cauchy) 
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12. 练习 题 
1. ВЕЖ n 是 独立 随机 变量 , f(x) = file) Р(х), gl£) = д(т) + 492(х), 其 中 
Р(х) 和 gx(x)(k = 1,2) 是 博 雷 尔 函数 . 证 明 , 如 果 Е (6) | < оо, Elg] < оо, ЙІ 


Elf(£)g(M| < оо 


EF(E)g(n) = Ef (E) x Eg(n). 
2. ЯЕ=(&,...,&) А Е" < со, 其 中 d= 4/52. 证明 


ті 


к 
pelt) = У GEM, + (И, 
k=0 `' 
HEP t= (ti, tn) E =, (Ф) 0,2-0. 
3. 对 于 n 维 分 布 函数 Е = Fr (т, : `` Tn) 和 G = Съ (2, > ‚Жл, 证 明定 理 2. 
4. Е =Е(11,-.. ть) Ж п 维 分 布 函数 , 而 p = p(t1,… tn) 是 其 特征 函数 . 
利用 53(12) 式 的 记号 , 证 明道 转 公式 : 


n е как __ е “кӧк 
Р(а, b| = lim Жез f f П = ——————-р(,::: ,tn)dti:... dty. 


(在 上 面 引进 的 逆转 公式 中 , (а, 6] ЖЖ Р(а, 的 连续 区 间 , 即 对 于 一 切 k= 1,.…， 
п, КА ак, б, 是 边缘 分 布 函数 Feler) 的 连续 点 , 而 边缘 分 布 函数 Р, (ть) 是 由 联合 分 
布 函数 F = F(z1,… ,zn) 将 除 хь 之 外 的 其 余 变 量 设 为 +0 得 到 的 .) 

5. B pelt) k 之 1 是 特征 函数 , 而 非 负 实数 As k > 1, 满足 条 件 Y X = 1. 证 明 
3 A 和 kpk(t) 是 特征 函数 . | 

设 p(t) 是 特征 函数 , Н Rep(t) 和 Imo(t) 是 否 特征 函数 ? 

7. М 1, 42, #73 是 特征 函数 ， 且 01402 = 9143, 问 是 否 由 此 可 见 фо = 

8. 证 明 表 2—4 和 表 2 -- 5 中 特征 函数 式 的 正确 性 . 

9. 5 《是 整数 值 随 机 变量 , 而 p(t) 是 其 特征 函数 . 证 明 


Р-Н; / -iktpe(t)dt, k= 0,+1,42,... 
10. 证 明 在 具有 勒 贝 格 测度 и 的 空间 L = [2((—т,х],.#(—т,т]) F, 函数 系 


1 A 
—— e" n = 0, -1,... 
К | 


$12. 特征 函数 ‘321. 


构成 规范 正 交 基 . 

11. 假设 在 博 赫 纳 — 辛 钦 定理 中 所 考虑 的 函数 y(t) 是 连续 的 . 证 明 下 面 (里 斯 
Е. Riesz]) 结果 , 该 结果 说 明 在 什么 程度 上 可 以 去 掉 连 续 性 假设 . 

假设 о = v(t) 是 复数 值勤 贝 格 可 测 函 数 且 (0) = 1. WA, 函数 p(t) 是 正定 的 ， 
当 且 仅 当 它 (在 数 轴 上 勒 贝 格 测度 几乎 处 处 ) 等 于 某 一 特征 函数 . 

12. 判断 下 列 各 函数 是 否 特征 函数 : 


plt)=e ll ,0S 和 2 y(t) ет, к> 2; 
pt) = (1+1); Ф®=а+и)" 

1-0 Ик И], Æ ll < 1/2 
Й 0, {т |Ң > 1; 1/(4(#]), Æ |t| > 1/2. 

13. 设 p(t) 是 分 布 函数 Г = Р(х) 的 特征 函数 , {zx} 是 函数 Е(т)[АЕ (т) = 
Е(тһ) – Е(т,-) > 0] 的 间断 点 的 集合 . 证 明 
1 T 
да т | OPa = SIAF). 


nzi 


14. 称 函 数 | 
С(Х; 1) = supP{r < Х < ғ +1} 
тє 


为 随机 变量 X КР җ. 证 明 : 
(а) € X ЯП Y 是 独立 随机 变量 , 则 对 于 一 切 1 > o, 


QX +Y;1) < шш{9(Х; 1), QY; D} 


(b) FE тї, 使 随机 变量 X 的 О(Х) = РЯ < X <r? +l) MENEE X 的 


ята, 当 且 仅 当 @(X;0) = 0. 
. 设 X 是 分 布 函 数 为 F = F(x) WERNER, {ma} 是 其 矩 序列 , 其 中 


ть = {= ztdF(z). 证 明 , 若 对 于 某 个 > 0, 级 数 S Ке 绝对 收敛, 则 (та> 
Кк=1 ^. 


ЕЕ ЛЖ Е = F(z). 
16. Ў Е = F(x) 分 布 函数 , 而 p(t) = [> ettzdF(z) 是 其 的 特征 函数 . 证 明 


г _, 
lim — с |. е ‘y(t)dt = F(x) — К(х—), 


lim zf. (Рае = > ДЕ(т) — Е(т—)]?. 
тек 
17. 证 明 每 一 个 特征 函数 P(t) 部 满足 不 等 式 : 1 — Кеџр(21) < 4[1 - Reg(t)]. 
18. 假设 特征 函数 olt) WE: p(t) = 1+ f(t) + olt?) t 一 0, 其 中 f(t) = (0). 
证 明 (+) = 1. 
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19. 证 明 对 于 每 一 个 п > 1, ИЖ 


п — 1 
ей — У (КИ 
O= i 


是 特征 函数 
20. 证 明 


OO OO 
= | еш f јар (2). 
— Сҗ) 


п Joo t 
21. 假设 特征 函数 olt) WE: p(t) = 1+ O(t|*),t — 0, 其 中 a (0, 2]. 证 明 以 
(Е) 为 特征 函数 的 随机 变量 с 具有 如 下 性 质 : 


Р! > =} = О(х°®), х-+0. 


22. 如 果 g(t) 是 特征 函数 , 则 函数 ot) 也 是 特征 函数 . 

23. Е X A Y 是 独立 同 分 布 随机 变量 , 其 数学 期 望 为 0 和 方差 为 1. 基于 特征 
函数 的 性 质 , 证 明 , 如 果 随 机 变量 (X +Y)/V2 的 分 布 等 同 于 随机 变量 X 和 YY 的 分 
布 F, 则 Е ЖЕ РА. 

24. WR y = op 人 是 特征 函数 , 则 对 于 某 一 个 A > 0 函数 esv- 也 是 特征 水 
数 . 

25. 设 X ENTARA F 的 非 负 随机 变量 . 对 于 任意 入 > 0, 由 公式 

F(A) = Ее-^Х = е^ (= 
(А) = Ее / ed 
定义 的 函数 Р РОА) 称 做 X 的 拉 普 拉 斯 变 搁 . 证 明 如 下 伯 恩 斯 坦 (С. Н. Берн- 
штейн) 准则 : 函数 f = f(A), А є (0, оо) 是 分 布 函 数 F = F(x),x Е [0, оо) 的 拉 普 
拉 斯 变换 的 充分 和 必要 条 件 是 : 函数 S = f(A) 是 完全 单调 的 ( 即 存在 所 有 阶 导数 
1 (Л), > 0 В (-1)" fA) > 0). | 
26. 设 p(t) 是 特征 函数 , 证 明 下 面 的 函数 也 是 特征 函数 : 


1 OQ 
f p(ut)du, f e “p(ut)du. 
0 0 


513. 高 斯 系 


1 高 斯 系 的 特点 和 重要 性 ”在 概率 论 和 数理 统计 中 , 高 斯 分 布 或 正 态 分 布 、 高 
斯 随机 变量 、 高 斯 过 程 和 高 斯 系 有 特别 重要 的 作用 .这 首先 因为 有 中 心 极限 定理 
(第 三 章 84), REH - 拉 普 拉 斯 定理 是 其 特殊 情形 (第 一 章 56) 根据 这 一 定理 , F 
态 分 布 具 有 通用 的 特点 : 在 并 不 “拘谨 ”的 条 件 下 , 大 量 独立 随机 变量 或 随机 向 量 之 
和 的 分 布 , 可 以 很 好 地 用 正 态 分 布 来 逼近 . 
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正 是 这 种 情况 , 从 理论 上 说 明了 统计 实践 中 普遍 的 “误差 律 ”", 它 表现 为 由 大 量 
独立 的 “基本 ”误差 做 加 形成 的 测量 误差 服从 正 态 分 布 . 

多 维 正 态 分 布依 赖 于 少量 参数 , 在 建立 简单 的 概率 模型 时 是 其 毋 容 置 疑 的 优点 . 
高 斯 随机 变量 有 有 限 二 阶 矩 , 故 可 以 用 希 尔 伯 特 空间 方法 研究 其 性 质 . 重要 的 情况 
是 , 对 于 高 斯 随机 变量 的 情形 , 不 相关 性 变 为 独立 性 , 使 得 有 可 能 大 为 加 强 “72- 理 
论 ” 的 结果 . 

2， 离 斯 系 的 定义 ”注意 到 (根据 88) 随机 变量 上 = Elw) 称 做 服从 参数 为 m 和 
с? 的 高 斯 分 布 或 正 态 分 布 的 (E~ N(m,o?),|m| < оо, 0? > 0), 如 果 其 密度 为 

1 _(@-т)? 


fe lI) — е 2 (1) 


дто 


其 中 о = +у02. 

当 о | ОВ, 密度 (х) “收敛 于 集中 在 点 z=m 的 6- ARC. 所 以 自然 称 随机 
变量 上 = 600) 服从 参数 为 m 和 o? = 0 的 高 斯 分 布 或 正 态 分 布 (E~ М(т,0)), 如 果 
P{E =m}=1. 

不 过 可 以 给 出 另 一 定义 , 使 之 既 包含 非 退 化 (о? > 0) 情形 又 包含 退化 (0? = 0) 
情形 . 为 此 , 考虑 特征 函数 pelt) = Eei, t с В. 

如 果 了 P{E=m}y=1 则 显然 


pelt) е", (2) 


WE & ^ М(т, 02), 0? > 0, 则 根据 512(9) 式 , 有 
pelt) ент, (3) 
аА, 对 于 о? = 0, (3) 式 的 右 侧 与 (2) 式 的 右 侧 相同 . 由 此 及 512 的 定理 1, 可 见 参 
数 为 т 和 о? (т < co,c2 > 0) 的 高 斯 随机 变量 , 可 以 定义 为 特征 函数 pelt) ЕН (3) 
式 定 义 的 随机 变量 . 运用 特征 函数 的 方法 , 在 多 维 情形 特别 方便 . 
B © = (和 人) 是 随机 向 量 , 而 


pelt) = Ве) t= (t1, ,tn) ЄВ", (4) 


是 其 特征 函数 (А, 512 Е Х 2). 
定义 1 ЖИ & = (&,...,&,) 服从 高 斯 分 布 或 正 态 分 布 , 如 果 其 特征 函 
数 pe(t) 有 如 下 形式 : 


pelt) = ет) 3 t,t) (5) 


其 中 m = (л, Mn ), [Mk] < ©, ПИ R = (75) 是 пхп 阶 非 负 定 和 矩阵 ( 简 记 为 
$ ~ N(m, R)). 
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鉴于 所 引进 的 定义 , 首先 产生 一 个 问题 , (5) 式 的 函数 是 合 特 征 函 数 ? 现在 证 明 


它 确实 是 特征 函数 . 
为 此 , 首先 假设 В 是 非 退化 的 . 那么 存在 逆 和 矩阵 4 = R, Нр 
1/2 
Ка) = mp — 5(А(® — т), (æ — m) } (6) 


Ж g = (£1, Zn) |A| = det A. 该 图 数 是 非 负 的 . 证 明 


f еба) Frzjdz = ет) (Rtt) 
Е" 


或 同样 地 
了 = | eee АГ ет та — е 5 (Rtt) (т) 
n 27)" | 
ЕЯ НЕ 


TT—m= 2и, t= Zv, 


其 中 Z НЕХ 满足 


ZTRZ = D, 
而 
d 0 
D = ы 
0 da 


EX HIERE, 其 中 d; > 0 (№ 88 引 理 的 证 明 ). 由 于 |В| = det R 2 0, 可 见 di > 0,4 = 
1,.… ,n. 因此 
|4|=|R = 4"... dg". (8) 


其 次 (М, 512 第 1 小 节 的 记号 ), 有 
i(t,æ — т) – 5(А(® — т), (2 — т) 
= i(Zv, Zu) — 5 (Аи, Zu) = 1020) (Zu) — 502“) А( Ри) 
= Ти 一 ит Т Аи = {ри — 5ш 1и, 
由 (8) 式 和 512 的 (9) 式 , 可 得 
iww'u- zu" D udu 


I, = 1 fl 
” (2m Иа а)? Ја. < 


一 Ооо . и? п 02а 
П сеат |= аа = Пе = 
ra бо 


k= 
е 


| 


1 \ 
-4v Dv -$v ZTRZv _ 17 Ва — е-8(Н 0) 
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由 (6) 式 亦 可 见 
上 f(x)dr = 1. (9) 

于 是 , ЖЖ (5) 是 п Я ( 非 退 化 ) 高 斯 分 布 的 特征 函数 (53 第 3 小 节 ). 

现在 , 设 R ЖЕНЕ. 设 s > 0, 考虑 退化 矩阵 В: = Е+ЕЕ, 其 中 Е 是 单位 
矩阵 . 那么 , 由 已 证 明 的 , 可 见 函数 

pē (t) = exp (ic т) 一 508,01 
是 特征 函数 : 
y (t) = f elts) q (а), 
Rn 

其 中 Fe(Z) 一 Е.(21, n.r En) 是 n ЭЛН РА ЖК. 

“Ч < 一 0 时 

P(t) — y(t) = exp fitm) — (8, о} | 

极限 函数 p(t) ТЕ О 点 (0,…,0) 连续 . 因此 , 根据 定理 1 和 第 三 章 83 的 练习 题 1, y(t) 
是 特征 函数 . 

ТЖ, 定义 1 的 适 定性 得 证 . 

З. 高 斯 系 的 均值 向 量 和 协 方 差 矩 阵 ”现在 说 明 特 征 函 数 的 (5) 式 中 , Ы т 
мІ Е R = (Tij) 的 含义 . | 


由 于 
| 1 | п 1 п 
in фе(Ё) = i(t, т) 一 508,0) = '2 ат, -3 2, тыкі, (10) 
由 $12 的 (35) 式 , 以 及 矩 和 半 不 变量 的 换算 公式 , 可 见 
ту = 80107 0) _ БЕ... пи = 80” 0,1) _ Eé,. 


类 似 地 , 有 
ri = se = ра, т = вр" 9) = соч(&1, £2), 
一 般 
Tij = COvV(&i, &;). 
TE, т 是 & 的 均值 向 量 , 而 RR 是 协 方差 矩阵 .， = 
Ж ЖЕЕ В JEBE, 则 可 以 通过 其 他 途径 得 到 这 些 结果 . 具体 地 说 , 这 时 向 量 
有 (6) 式 给 出 的 密度 у(х), 而 且 通 过 直接 推算 可 得 
ЕС, 一 Г. тк}(т)Ах = Mk, 
о po “^^ (11) 
соу(&х, &) = 人 J (тк — Mk) (21 — Mmi) f (£k, ti)drkdzı = ты. 
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4. 高 斯 向 量 的 性 质 ”我 们 现在 讨论 高 斯 问 量 的 若干 性 质 . 

定理 1 а) 对 于 高 斯 向 量 , 其 分 量 不 相关 与 分 量 独立 等 价 . 

b) 向 量 E = (&,--. En) 是 高 斯 向 量 ， 当 且 仅 当 对 于 任意 向 量 А = (A 和 1,:…… An), 
Ак E R, 随机 变量 (E, A) = № +... + А 服从 高 斯 分 布 . 

证 明 а) 如 果 问 量 & = (E, ,&„) 的 分 量 不 相关 , 则 由 其 特征 函数 #0 的 形 
式 可 见 ， 它 等 于 各 分 量 特征 函数 的 乘积 


pelt) — П Фе, (2%). 
к=] 


所 以 , 由 $12 的 定理 4 知 , 分 量 а... „Е, 独立 . 
由 于 由 独立 性 总 是 可 以 得 出 不 相关 性 , 故道 命题 显然 成 立 . 
b) 如 果 & = (&1,… Е.) 是 高 斯 向 量 , 则 对 于 te R (М, (5) 式 ) 


2 
Е ехр{ (А + -:- + Mnén)} = exp э Акты) 一 50) пам} 


从 而 
(E, A) ~ М(У Ат, У тыль №. 


相反 , 随机 变量 (€, А) = ле 十 … + Anén 服从 高 斯 分 布 , 则 特别 
Ке*(&,^) — eiB(é,A)— 75 = ехр Ў >》 EE — У Xeovlee 8) | . 


由 于 àe An 的 任意 性 , 可 见 & = (&1,… En) 是 高 斯 向 量 ( 见 定义 1). ш 

注 设 (0,=) 是 高 斯 问 量 , 其 中 Ө = (0... Өк), Е = (&1,-.-,&). ШЕНЕ Ө 和 
& 不 相关 , Вр соу(6;,&;) = 0,1 = 1,...,К,) = 1,… 则 它们 就 独立 . 

证 明 方法 与 定理 1 НН а). 

w & = (21, ,én) 是 高 斯 问 量 , 为 简便 计 , 假设 其 均值 向 量 为 0. 如 果 rang В = 
г < т, ЙЕН 511 可 见 , 在 变量 &,,...,&, 之 间 存 在 恰好 п—т 个 线性 关系 . 这 时 , 例如 
可 以 认为 &1,--. ‚Е, 线性 无 关 , 而 其 余 一 切 变 量 都 可 以 通过 它们 线性 表示 . 因此 向 量 
& = (&1,… En) 的 所 有 基本 性 质 都 决定 于 前 г 个 分 量 (&1,:… Е). 而 且 它 的 协 方差 
矩阵 已 经 是 退化 的 . 

这 样 , 可 以 认为 原 向 量 的 分 量 已 经 是 线性 无 关 的 , 因而 |RI > 0. 

设 Z 是 把 REANA REH ERE RE: 


ZI RZ =D. 


如 第 3 小 节 所 指出 的 , 矩阵 的 所 有 对 角 元 素 都 是 正 数 , МИНЫ. 记 B? = D, 


Hi 
B= B! ZE. 


$13. S 斯 Е . 327. 


那么 , 容易 证 明 

Fei(t,8) — Геб t — е 20840) 
即 问 量 8 = (B81,… bn) 是 具有 不 相关 分 量 的 高 斯 向 量 , 从 而 根据 定理 1 是 具有 独 
з НА НЕ. и 4 = ZB, АННЕ €= (&,,...,&) 可 以 表示 为 


$ = АВ, (12) 


其 中 8 = (B81,… bn) 是 具有 独立 分 量 的 高 斯 风量 , Н 8, ~ N(0,1). 由 此 得 如 下 绪 
Ж: МЕ = (和 ‚&„) 是 具有 线性 不 相关 分 量 的 向 量 , Ес, = 0,k = 1,... п, 则 此 向 
量 是 高 斯 问 量 的 充分 和 必要 条 件 是 , 存在 独立 高 斯 变量 81,…… ,6,, Вь > N(0,1), 和 
п 阶 非 退 化 矩阵 А, 使 € = АЗ. 这 时 ВЕ АА! 是 向 量 с 的 协 方差 矩阵 . 

WR Во, 则 根据 元 拉 默 — 施 密 特 正 交 化 方法 ( 见 811), 有 


Ex = Ek + бєк, k=l, ,nN, (13) 
其 中 由 于 高 斯 性 , ME є = (e ,en) ~ N(0, Е), 
к—1 . 
Ek = (ЕДЕ (14) 
l=1 
bk = ||, — Êrll, (15) 
日 | 
Z {&1, 77 ‚©к} = #{д, 7 ‚Єк }. (16) 


由 正 交 展开 式 (13), 立即 得 
Er = Е(&ь|&-1,°°° 1). (17) 
鉴于 (16) 和 (14) 式 , 由 此 可 见 对 于 高 斯 变量 , 条 件数 学 期 望 Beilc， é) 是 
上 -1 的 线性 函数 : 
k—1 | 
ЕЕ, ,6&1) = У `а;ё,. (18) 
;一 1 | 


(对 于 大 = 2 的 情形 , 在 38 曾 得 到 该 结果 .) 
由 于 根据 58 中 对 定理 1 的 注 知 , Е (21, DENEL) 是 由 éi, 
6.1 对 & 的 最 优 估计 量 , 则 由 (18) 式 可 见 , 对 于 高 斯 分 布 , 最 优 估 计量 是 线性 的 . 
对 于 (0,=) 是 融 斯 问 量 的 情形 , 我 们 利用 以 上 的 结果 由 向 量 & = (&1,… én), Ж 
求 向 量 = (91,... ,6„) 的 最 优 估计 . 记 


тө = EO, те = B 
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为 均值 列 同 量 , 而 


Doo = cov(0, 0) = (соу(0;,0;)),1 < 1,3 < Е, 
Dee = соу(0, &) = (соу(0;,&;)), 1<1<А,1<75<1, 
Dee — соу(&, &) — (соу (&;,&;)), 1 < 1,7] < {, 
是 协 方差 矩阵 . 假设 矩阵 Dee НАЯ. 那么 , 下 列 定 理 成 立 (对 照 58 定理 2.) 


定理 2 ( 正 态 相关 性 定理 , 向 量 情形 ) ”对 于 正 态 随 机 向 量 (0,4), 外 & 对 向 量 
Ө 的 最 优 估 计量 Е(Ө|&), 及 其 误差 矩阵 


А =Е – Е(0|)][0 – E(O|é)T, 


分 别 由 下 面 的 公式 给 出 : 


Е(Ө|Є) = то + DogDze (E — me), (19) 
А = Dee — оО: Dée. (20) 

证 明 记 向 量 | 
п = (0 — ть) — Юе Юр (E — те). (21) 


ЖА, 可 以 直接 验证 Enl — me)" = 0, ВИЕ 7 与 向 量 & — me 不 相关 . 由 于 向 量 
(0, =) 的 高 斯 性 , 则 (п,=) 也 是 高 斯 向 量 . 由 此 以 及 定理 1 的 注 , 知 向 量 7 В Еф ть 
独立 . 因此 , 向 量 n 与 独立, 从 而 了 (me) = Еп=0. 所 以 


Е[0 — melé] — Оеё О: (E — те) = 0, 


于 是 , 公式 (19) 得 证 . 
为 证 明 (20) 式 , 考虑 条 件 协 方差 


cov(0, 0|€) = Е{[0 — Е(0|)][0 — Е(Ө|&)] |}. (22) 
由 (19) 和 (21) 式 可 见 Ө— Е(0|) = n, ЖЕН n 5 é 独立, 可见 


соу(Ө, Ө|&) = E(m |é) = Enn” 
= Doo + DoeDee ОЮ. Dag – 200 ОО Dag 
= Dee 一 ВО: Doe 
因为 соу(Ө,Ө|&) 与 “偶然 性 ”无 关 , 所 以 
А = Е соу(9, OJE) 一 соу(9, Ө|ё), 


于 是 , (20) AHE. С 
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系 设 (25 , n) n+l 维 高 斯 向 量 ， 而 且 E1, ,én 独立 . AR A 


E(0|£1, > ,én) = E0 + 2 С — Eé;), 


— соу2(0 cov’ (0, &;) 
А = 06 – у ЭБ уун De 
(对 照 88 公式 (12),(13)). 
5. 高 斯 向 量 的 线性 流 形 的 封闭 性 i &1,&2,… 是 依 概率 收敛 于 向 量 & 的 高 斯 
随机 回 量 序列 . 现在 证 明 向 量 & 仍然 服从 高 斯 分 布 . 
由 于 定理 1 的 命题 a), 只 需 对 随机 变量 证 明 这 一 事实 . 
设 т, = Eln, 02 = Об». ЖА, 根据 勒 贝 格 控制 收敛 定理 , 有 


lim ейт" 2050 一 [ип Ее" = Ее. 
TO 


由 于 左 侧 极限 的 存在 性 , 可 见 存 在 m, 和 o2, 使 


т = lim Ma, с? = lim On 
оо 


从 而 ， 
Бе 一 ейт- 501° 

ВР 2 ~ М(т, o°). | 

特别 , 由 此 可 见 , 由 高 斯 随机 变量 上 ,cz,… 生成 的 封闭 线性 流 形 Z (Ei) 
(№, 511 第 5 小 节 ), 仍然 由 高 斯 随机 变量 生成 . 

6. 一 般 高 斯 系 及 其 性 质 ME, 讨论 一 般 高 斯 系 的 定义 . 

EX2 BRUER- FRIRE. 随机 变量 上 = {i} a eg 的 全 体 称 为 高 斯 
Ж, ИЖА ГЕМ al, ,an Е Мп > 1, 随机 向 量 (c ,&。) 是 高 斯 向 量 . 

现在 指出 高 斯 系 的 一 些 性 质 . 

а) ШЖ & = {ia} a E ЖА, 则 任意 名 = (6), Ема 
Ж. 

b) WR Eaa E U ЕУ АУЕ, Д] е = {ia} є & 是 高 斯 系 . 

с) ЖЖ & = {éa} a E U EANA, 则 包含 由 形 如 У" cata 的 变量 及 其 均 方 
极限 的 闭 线性 流 形 (Е) 是 高 斯 系 . 

注意 , КЕЙ а) 的 首 命题 一 般 不 成 立 . 例如 , 假设 &1 Мп, 独立 , Н &, ~ N(0,1)， 
т ~ М(0, 1). 定义 系统 如 下 


__ (&1, 12711), 若 &1 > 0, 
$m = | (1, -lmi Ж & < 0. (23) 


那么 , 不 难 验证 上 和 7 中 每 一 个 都 是 高 斯 变量 , 然而 (En) 却 不 是 高 斯 向 量 . 
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设 上 = {Е} cU 是 高 斯 系 , HSE “ШЖ” X т = {mha Е Я, 而 协 方差 
“ЯН №” 为 В = (rag)a вем, 其 中 та Е Efa. “ЯНВ 显然 是 对 称 的 (тов = тва), ЭЕ 
在 如 下 意义 上 是 非 负 定 的 : 对 于 任意 在 R! БАНИ “ШЖ” с = {co}weu, 只 有 有 限 个 
坐标 с. 不 为 О, 
| (Rc, с) = У: гавСасв 2 0. (24) 
а, 

现在 提出 反问 题 . 假设 给 定 一 参数 的 集合 И = {о}. “И т = {то роси 和 对 
称 非 负 定 “ЯН” В = (тов). вем. 问 是 否 存在 概率 空间 (0, Р) 和 空间 上 的 高 斯 

随机 变量 系 ¢ = {éa}, a E № 


ЕС, = То, 


COV (Ea, £8) = тов, Q BEM 


”如 果 取 有 限 组 ai,- ,an, 则 根据 向 量 т = (Moas, Man) 和 矩阵 R = (гов)о seu, 
а, 8 = QH ,Qn Є К”, 可 以 建立 高 斯 分 布 Foi- an (21, n. , Tn)) 使 其 特征 函数 为 


plt) = ео t= (ш, stan): 
不 难 验证 , 分 布 族 
{Foi an (21; En); а Е М} 


是 一 致 的 . 从 而 , 根据 柯 尔 莫 戈 洛 夫 定 理 (89 定理 1 及 其 注 2) 对 于 上 面 所 提问 题 的 
答案 是 肯定 的 . 

т. 高 斯 随机 序列 和 高 斯 过 程 ” 假 如 U = {1,2,...}, 则 按 85 所 采用 的 术语 , ВВ 
机 变量 系 & = {Eha E Я ЖА Я, 并 记 作 E = (&,&,...). ВЯ & = 
(&1, &2,… ) 完全 由 均值 向 量 т = (та, m2,:…) ЖУЗЕ В = (ra), В гу = 
соу(&, &;) 322. 特别 , 如 果 ri = o26i;, M E = (&1,é2,…) 是 独立 随机 变量 的 高 斯 序 
Я, 其 中 &; ~ N(mi o?) i21. 

ХТ И = (0,1, [0, оо), (一 00, 00),… 的 情形 , 随机 变量 系 E = {&} t e М ЖЕ 
续 时 间 随 机 过 程 . 

现在 举 儿 个 高 斯 随机 过 程 的 例子 . 假如 认为 其 均值 为 0, 则 这 样 过 程 的 概率 性 质 
完全 决定 于 其 协 方差 矩阵 В = (ra), st EU 的 形式 . 我 们 用 r(s,t) 表示 ra, 并 称 此 
s M t RAAH ŽAK. | 

#11 Я u= 00, оо), 而 


r(s,t) = тіп(8, Ё), (25) 


则 以 r(s,t) 为 协 方差 函数 ( 见 练习 题 2), Н Bo =0 的 高 斯 过 程 В = {Bi ны, 称 做 布 
朗 运动 过 程 或 维 纳 过 程 . 
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注意 , 该 过 程 具 有 独立 增 量 , TAEA ti сь <... <tn ВАР 
Bi, Bi, ~ ‚В, И Bin: 


是 独立 的 . 事实 上 ， 由 于 高 斯 性 只 ! 需 验证 它们 两 两 不 相关 . 实际 上 , #s<t<u<v, 
则 


E(B: — Bs)(B, – Bu) 
= [r(t,v)— r(t u)| — [7r(s,v) — г(3, м) 
= (t—t)—(s—s)=0. 


Е 89 第 4 小 节 考 虑 的 更 新 过 程 的 例子 (是 根据 独立 随机 变量 序列 cl, coz,…. 
的 构造 性 给 出 的 ), 使 得 可 能 类 似 地 建立 某 种 类 型 的 布朗 运动 的 想法 产生 了 . 

以 独立 同 分 布 的 标准 高 斯 随机 变量 序列 &1,é2,:… 为 基础 , 其 中 &; ~ N(0,1), 来 
构造 布朗 运动 的 情形 确实 存在 . 

例如 , 构造 随机 变量 


— э» 7 * 179 sin((n + 1/2)тё), te [0,1]. | (26) 


由 下 面 将 给 出 的 “两 级 数 ” 定 理 (第 四 章 $83 定理 2), 可 见 对 于 每 一 个 te [0,1], 
定义 В, 的 级 数 (P – а.с.) К. 进一步 更 细致 地 讨论 表明 , 此 级 数 (P — a.c.) —Ж 
收敛 , 从 而 过 程 В = (Bi)oxtxi1(P — а.с.) 有 连续 轨道 . 该 过 程 的 正 态 性 , 由 定理 1 的 
b) 和 第 5 小 节 中 关于 “ 祠 斯 随机 变量 依 概 率 收敛 的 极限 , 仍然 服从 高 斯 分 布 ” 的 论 
Bra РЫБ АҢ. 同样 不 难 证 明 , 协 方 差 水 数 为 т(5,1) = EB,B, = min(s, t). 

XIF, 在 (26) 式 中 建立 的 过 程 В = (Вок 满足 布朗 运动 过 程 定义 中 的 所 有 
要 求 , 此 外 该 过 程 (Р — a.c.) 有 连续 轨道 . ЖЕ, (物理 应 用 所 希望 的 和 得 到 证 实 的 ) 
轨道 的 连续 性 , 包含 在 布朗 运动 的 定义 之 中 . 我 们 看 到 , 这 样 的 过 程 确实 存在 . 

我 们 再 指出 一 个 建立 布朗 运动 过 程 的 熟知 方法 , 它 基于 在 §11 第 5 小 节 中 引进 
的 哈 尔 函数 Н, (т), z € [0,1],п = 1,2,:… 

НКР Н, (х) 建立 绍 德尔 (А. Schauder) 函数 Sn(t), t є [0,1],п = 1,2,.… 


9 人 = J Н„(х)ах. (27) 


那么 , 如 果 Со, 1, E2 是 独立 同 标准 高 斯 分 布 随机 变量 序列 , 其 中 6, ~ (0, 1), № 
级 数 对 于 te [0,1], 


В, 一 ` En Sn (t) (28) 
以 概率 1 一 致 收敛 . 过 程 В = (В,)о<т<1 是 布朗 运动 
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例 2 Xİ B? = (B?),t € = [0,1], В = 0 ЖП 
г(8, Ё) = min(s,t) — st, (29) 


称 做 条 件 维 纳 过 程 或 布朗 桥 (注意 , 由 于 г(1,1) = 0, Ж P{B? = 0} = 1). 
例 3 XE X = (Xi),t € U = (оо, оо) 和 


r(s,t) = ets| (30) 


称 做 高 斯 一 马尔 可 夫 过 程 . 

8. 布朗 运动 的 一 个 简单 例子 ”我们 介绍 一 个 布朗 运动 的 有 趣 性 质 ， 其 证 明 是 
610 中 博 雷 尔 - 坎 秦 利 引 理 应 用 的 很 好 的 演示 (确切 地 说 该 引 理 的 系 1). 

定理 3 ЖВ- (В,),о 是 标准 布朗 运动 . ЯА, 对 于 任意 全 > 0, 依 概率 1 


2 “了 


lim 2 [Вы — Вь- 12-Й = Т. (31) 
A ЖЗНЕ, 可 以 认为 了 =1. 设 
А = |. Увы — ваа > -| | 
由 于 Bk2-» 一 B-p- 是 高 斯 随机 变量 , 且 均 值 为 0, 而 方差 等 于 27", 可 见 


К=1 
2" | 
Р (EBan — Bazna) — 2 一 ?十 ， 
к=1 


因此 , 由 切 比 雪夫 不 等 式 , 有 Р(А©)<,-22-"+1, 从 而 


У P(A) < =“ 3 2-?4 ~ 0-2 < оо. (32) 
n=l n=l 
于 是 , 由 此 估计 式 和 博 雷 尔 — 坎 泰 利 引 理 的 系 (810), 得 所 要 求 的 关系 式 (31). 0 


9. 练习 题 
1. № &1, 62, 6з 是 独立 高 斯 随机 变量 , &; ~ №(0,1). 证 明 


(由 此 产生 了 对 于 有 趣 的 研究 课题 : 描绘 独立 高 斯 随机 变量 cl,… с, 的 非 线性 变换 ， 
使 变换 的 结果 仍然 是 高 斯 随机 变量 .) 

2. 证 明 , 由 (25),(29) 和 (30) 各 式 的 函数 x(s,t) АНН “ВЕР Е = (7(s,t))s еси 
是 非 负 定 的 . 


$13. № Я Ж | ‚ 333 . 


3. B A Æ mxn WERE. 称 АЎ X ARI nxm MADER, w RETER U 

Жу, 1{# 
AASA =A, АЎ = ОАТ = АТУ. 

证 明 , 由 这 些 条 件 决 定 的 矩阵 AS 存在 而 且 叭 一 . 

4. 证 明 在 正 态 相关 定理 的 公式 (19) 和 (20) 中 , 对 于 De 是 退化 抢 阵 的 情形 , 如 
果 在 这 些 公式 中 用 伪 逆 矩阵 Dee 代替 Юл, 则 正 态 相 关 定 理 仍然 成 立 . 

5. № (0,2) = (1,… ,9k;&1,… ,&) 是 具有 非 退 化 矩阵 A = Doo - 0807, 的 
РЕХТА Е. 证 明 分 布 函数 P{0 < ajé} = P{b < а, ··· ‚бк Зав} (Р - а.с.) 有 密度 
р{ал,··· ак}, В. 


—1/2 
рал, ае) = HL exp | -3le — В ТА-Ца — (9) | 


6. (С.Н. НАЯ) ЕЯ 是 具有 有 限 方差 的 独立 同 分 布 随机 变量 . 证 明 , 如 
R Etn AE- п 57, 则 & 和 ”是 高 斯 随机 变量 . 

7. RÆ (J. Mercer) Z. 假设 7(s,t) 是 [a,b] х [а,  (-©ю < a < b < оо) 上 连续 
的 协 方差 函数 . 证 明 , 对 于 无 限 多 个 А, > 0, 方程 


b 
a f r(s,t)u(t)dt = и(в),а < s < b, 
а, 


相应 的 连续 解 {ux,k > 1} 的 解 系 , М L(a, b) 中 的 完全 规范 正 交 系 , 使 


DOO 


_ ик(з)ик (Е) 
r(s,t) = 2. 人 


其 中 级 数 在 la, b] x Ja 上 绝对 收敛 且 一 致 收敛 . | 

8% X = {Xi,t > 0} 是 高 斯 过 程 , 其 中 ЕХ, = 0, 而 协 方差 函数 r(s,t) = 
е- №81, st >0. 设 0<t <... < tn, МД... (71,… ,zn) 是 随机 变量 Х,,...,Х, 
的 密度 . 证 明 : 


TL 


—1/2 
Ди, tn (21, Өө, Ти) — [ Па __ г-у 
1=2 
一 - elti-17t:) т, 1]2 


т? 1 一 [zs 
хехру — 5 500 ар | 
一 2 


9. 设 f = {fan > 1} с 1200,1) 是 完备 规范 正 交 系 , 而 {5} 是 独立 同 分 布 
N(0,1) 随机 变量 . 证 明 过 程 


t 
B, = Уе | У (и)ач 


nzi 
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是 布朗 运动 . 

10. 证 明 当 (Em, e ,mn) 高 斯 系 时 , 条 件数 学 期 望 Bel, т) 等 于 广义 数 
学 期 望 Blelm, т). 

11. ® (Em, пк) 是 高 斯 系 , 说 明 条 件数 学 期 望 Em, пк), п > 1 (作为 
т, 的 函数 ) 的 构造 . | 

12. 设 X = (Хк)1<<п ШҮ = (Ук)1<к<п 是 两 个 高 斯 随机 序列 ， H ЕХ} = 
EY., ОХ, = DY, 1 <k <n, Ш 


cov( Xk, X1) < cov(Yk, Yi), 1 < 1 < п. 
ПЕВНУ Ж № №. (Р. Slepian) 不 等 式 : 对 于 任意 тс R, | 


Р} зир х, < е} <P1 зир № <=}. 
1<К<п 1<К<тп 
13. 证 明 , Ж B° = (В?)о<,<1 是 布朗 桥 , 则 过 程 B = (В,) ьо 是 布朗 运动 , 其 
中 В, = (1+0 Bpap 
14. 对 于 布朗 运动 В = (В,) о, 验证 下 列 过 程 也 是 布朗 运动 : 
В; = –В;; 
в? = 1В,,„+> 0 #1 В? = 0, 
В!) = В, — В,,8> 0; | 
Bt = Вт — Br4,0 <t <T,T >O: 
B® — -Basa > 0 ( 自 模 态 性 ). 
15. W X = (Хь)1<ь<о 是 高 斯 随机 序列 , Н. 


т = шах ВХ», о? = шах DX,, 
1<К<п 1<Е<п 


MATEA а, 
Р! sup (Xk — ЕХ) 2 a) < >. 


15А<п 
ЖА, 博 雷 尔 不 等 式 成 立 


Р! вир Хх. >} < (1R), 
С 


1<К<лп 


其 中 


1 Г 2 
16. 设 (X,Y) 是 二 维 高 斯 随机 变量 , EX = EY = 0, EX? > 0, БУ? > 0 其 相关 


系数 为 
EXY 


P= 7ЕХ?ЕУ? 
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证 明 
Р{ХУ < 0} =1-2Р{Х >0,У> 0} = пт! агссоѕ р. 

17. & Z= ХУ, ЖФ X ~ №(0,1), Н P{Y = Ц = P{Y = -1} = 1/2. Ж. 
HE (X, 7) 和 (У, 7) 的 分 布 , 以 及 Х+ 7 的 分 布 . 证 明 , Z ~ М(0,1), Н ХЯ ЛЖ 
相关 , 但 是 不 独立 . 

18. 详细 证 明 , 由 (26),(28) 式 定 义 的 过 程 (Вро<ьк 是 布朗 运动 

19. Ж В” = (В, + ші) о 是 带 漂 移 的 布朗 运动 . 

(а) 求 变 量 BË + BE ,ti <, 的 分 布 ; 

(b) XIF to < ti < t2, Ж ЕВЕ BË 和 ЕВР BË ВЕ. 

20. 对 于 上 题 的 过 程 Ве, 对 于 <t M ti > %, 求 条 件 分 布 : 


P{BË ЕВ}; 
对 于 to < ti < t2, 求 条 件 分 布 ; 


P{B; Е (Ви, Ву }. 
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81 ”概率 测度 和 分 布 的 弱 收 敛 (339) 


1. 概述 (339) 

2. 伯 努 利 概 型 中 的 收敛 性 (339) 
3. 弱 收 敛 和 基本 收敛 (341) 

4. Ж (R,.2(R)) (344) 

5. 定义 收敛 类 (345) 

6. 218 (346) 


82 ”概率 分 布 族 的 相对 紧 性 和 稠密 性 (348) 


1. 关于 分 布 消 数 类 的 列 紧 性 问题 (348) 

2. 分 布 函数 类 的 相对 列 紧 性 和 完备 性 (349) 
3. 概率 测度 族 列 紧 性 的 条 件 (349) 

4. 练习 题 (352) 


83 ”极限 定理 证 明 的 特征 函数 法 (352) 


1. 历史 情况 概述 (352) 

2. 分 布 函数 与 特征 函数 对 应 的 连续 性 (353) 
3. 极限 定理 证 明 的 特征 函数 方法 (356) 

4. 练习 题 (358) 


34 


85 


56 


$7 


68 
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独立 随机 变量 之 和 的 中 心 极限 定理 1. 林 德 伯 格 条 件 (359) 


1. 林 德 伯 格 条 件 (359) 


2. 林 德 伯 格 条 件 的 某 些 特殊 形式 (362) 
3. 系列 形式 下 的 林 德 伯 格 条 件 (363) 
А. 林 德 伯 格 条 件 的 必要 性 (364) 

5. 练习 题 (366) 


独立 随机 变量 之 和 的 中 心 极限 定理 п. 非 经典 条 件 (368) 


1. 在 非 经典 条 件 下 中 心 极 限定 理 的 例 (368) 
2.“ 非 经 上 典 ” 条 件 与 林 德 伯 格 条 件 的 联系 (369) 
3. 练习 题 (372) 


无 限 可 分 分 布 和 稳定 分 布 (373) 


1. 在 非 经 典 条 件 下 中 心 极限 定理 的 例 (373) 
2. 随机 变量 无 限 可 分 的 充分 和 必要 条 件 (375) 
3. 稳定 随机 变量 (376) 

4. 稳定 分 布 特征 函数 的 一 般 形式 (379) 

5. 练习 题 (380) 


弦 收 全 的 “可 度量 性 ”(381) 


1. 关于 弱 收 敛 的 可 度量 性 (381) 

2. 列 维 - FPES KEE L(P, Б) (381) 
3. #8 ||P — Pllsr (384) 

4. 练习 题 (385) 


> РЯ НЗ ВЯ Б БЕЛЛ С НО Л, Е АКАК ЕНЕ (“一 个 概率 空间 的 


方法 ”) (385) 


‚ 随机 元 收敛 性 的 定义 (385) 
‚ 按 分 布 相 等 的 随机 元 (386) 

一 个 概率 空间 方法 的 应 用 (388) 

. 完成 87 中 (13) 式 的 证 明 (389) 

‚ 列 维 - 普罗 霍 罗 夫 度 量 值 的 上 估计 (390) 
. ЖЖ (391) 
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59 ”概率 测度 之 问 的 变 差距 离 . 角 谷 — 海 林 格 距离 和 海 林 格 积分 ,对 测度 的 绝对 和 连 
续 性 和 奇异 性 的 应 用 (391) 


‚ 概率 测度 间 的 变 差距 离 (391) 

. 测度 间 的 角 谷 - 海 林 格 距 离 (394) 

‚ 海 林 格 积分 对 测度 的 绝对 连续 性 和 奇异 性 的 应 用 (398) 
. 练习 题 (400) 


hia 2 МЮ = 


50 ”概率 测度 的 临近 性 和 完全 渐 近 可 区 分 性 (400) 


‚ 概率 测度 的 临近 性 和 完全 渐 近 可 区 分 性 的 概念 (400) 
. 无 限 栏 密 随机 变量 序列 的 情形 (401) 

. 独立 观测 概 型 (404) 

. 练习 题 (405) 


611 中心 极限 定理 的 收敛 速度 (405) 


‚ 中 心 极限 定理 中 收敛 速度 的 估计 (405) 
‚ 练习 题 (408) | 


ка ы МЮ == 


м = 


$12 ” 泪 松 定理 的 收敛 速度 (409) 


‚ 外 松 定理 中 收敛 速度 的 估计 (409) 
2. 估计 式 (6) 的 证 明 (410) 
‚ 练习 题 (411) 


рый 


ты 


$13 ”数理 统计 的 基本 定理 (411) 


. 数理 统计 与 概率 论 的 关系 (411) 

. 分 布 函 数 与 经 验 分 布 消 数 的 氢 合 定理 (411) 

经 验 分 布 函数 对 分 布 函数 的 偏差 DN (ш) 和 NN 5 F(x) ЖЖ (413) 
统计 量 PN(w) 和 Р}. (ш) 的 极限 分 布 (414) 

. MRR RRI (418) 

‚ 试验 与 实际 的 一 致 性 准则 (419) 

. 练习 题 (420) 


$1. 概率 测度 和 分 布 的 弱 收 义 ‚ 339. 


对 于 概率 论 教程 形式 上 的 结构 , 极限 定理 是 概率 论 初 等 章节 的 一 种 上 层 建筑 , 其 
中 所 有 问题 都 具有 最 终 的 、 纯 算术 的 特点 . 不 过 , 概率 论 认 识 的 价值 ,实际 上 只 有 通 
过 极限 定理 才 揭 示 出 来 . 何况 , 没有 极限 定理 就 无 法 理解 我 们 的 全 部 学 科 概率 
论 有 关 概 念 的 真实 内 容 . 


Б. В. Я А. Н. ARERR. 
《独立 随机 变量 之 和 的 极限 分 布 》[16] 


$1. 概率 测度 和 分 布 的 弱 收敛 


1. 概述 概率 论 许多 结果 都 具有 极限 定理 的 形式 . 以 极限 定理 的 形式 , 建立 了 
J. 但 努 利 大 数 定律 和 棣 英 弗 - 拉 普 拉 斯 定理 , 可 以 说 , 从 而 奠定 了 真正 概率 论 的 基 
础 , 特别 是 指出 了 众多 研究 的 方向 , 说 明了 不 同形 式 的 “大 数 定律 ”和 “中 心 极限 定 
理 ” 成 立 的 条 件 . 以 极限 定理 的 形式 还 创立 了 , “在 稀有 事件 情形 下 , 用 УНК ОЁ 
近 二 项 分 布 的 ” 治 松 定理 . 在 这 些 定理 的 例子 中 , 以 及 在 有 关 棣 莫 弗 - 拉 普 拉 斯 定 
理 相 泊 松 定理 的 收敛 速度 的 结果 中 , 已 经 可 以 看 到 , 在 概率 论 中 必然 涉及 分 布 的 不 
同形 式 . ПВН В, 需要 引进 分 布 之 间 各 种 接近 程度 的 “自然 ” 度量 . 

在 这 一 章 将 讨论 概率 分 布 的 收敛 性 , 及 其 接近 程度 的 菜 些 一 般 性 问题 . 这 一 节 
讨论 度量 空间 中 概率 测度 弱 收 敛 的 一 般 理 论 问 题 ， (特别 , 伯 努 利 大 数 定 律 和 棣 莫 
Я - 拉 兽 拉 斯 定理 一 一 “中 心 极限 定理 ”的 “始祖 ”, 正 是 属于 这 一 范围 .) 从 53 
开始 就 可 以 清楚 地 看 到 特征 函数 方法 , 是 证 明 К” 中 概率 分 布 弱 收敛 的 极限 定理 最 
强 有 力 的 工具 之 一 . 在 87 中 将 讨论 弱 收 敛 的 “可 度量 化 ”问题 . 在 89 中 将 讨论 分 布 
Я ТРАНСЕ: ЖЖ ах (一 种 比 弱 收敛 更 强 的 收敛 ). 在 中 心 极限 定理 和 
泊 松 定理 中 , 收敛 速度 最 简单 结果 的 证 明 将 在 811 和 812 中 给 出 . 在 813 中 将 81 和 
62 中 关于 弱 收 敛 的 结果 用 于 某 些 (原则 上 重要 的 ) 数理 统计 问题 . 

2、 伯 努 利 概 型 中 的 收敛 性 ”作为 开始 , 我 们 回忆 伯 努 利 概 型 中 大 数 定律 的 提 法 
(第 一 章 $5). | 

B 上 ca 是 独立 同 分 布 随机 变量 序列 , Н P{é&; = 1} = p, Р{&; = 0} = фр+ 
а = 1. 利用 第 二 章 510 中 引进 的 依 概 率 收 敛 的 概念 , J. 伯 努 利 大 数 定 律 可 以 表述 为 : 


Sn 
p P, p, п э оо, (1) 


其 中 Sn =& +... + &„. (在 第 四 章 将 证 明 , 这 里 实际 上 也 依 概 率 1 收敛 .) 
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п 


_ |1, Ж хр, 
Fo- те (2) 


其 中 F(x) 是 退化 随机 变量 上 = р 的 分 布 函数 . 设 Р, 和 Р 是 空间 (R, BR) 上 对 
应 于 分 布 函数 Е, A F 的 概率 测度 . 

根据 第 二 章 810 定理 2, КИЖИ 5„/п D р 必 导 致 按 分 布 收敛 S/n © р, 
而 由 按 分 布 收敛 可 见 , 对 于 в 上 的 有 界 连续 函数 类 С 中 的 任何 函数 f = f(x), 有 


Ef (=) Еур). (3) 
由 于 | 
Е/ (=) = [ лева), Еу) = | лааз) 
则 由 (3) А, 可 以 将 其 写 为 
f f(z) Pa(dz) > | f(x)P(dz), feo, (4) 
R R 
或 (根据 第 二 章 86 的 记号 ) 将 其 写 为 
/ f(x)dF,(z) > / f(z)dF(z), fec. | (5) 
R R 


在 数学 分 析 中 , 收敛 性 (4) 称 做 (34 n 一 со 时 测度 Р, 向 测度 РМ) 55А, 记 
ЕР 一 P (WREX 2). АЖ, 收敛 性 (5) 亦 称 做 分 布 函数 Е, 向 F КСК, 记 
(ЕЕ, РЕ. 

这 样 , 在 伯 努 利 概 型 中 , 可 以 断定 


Pn Р, рр, У, F, | (6) 


这 样 , 由 (1) 式 亦 不 难 导 出 , 对 于 由 (2) ААУ, 对 于 除 函 数 Е (г) 的 
МВ т ср ZIRRARA с ЄВ, 有 


Е, (т) э Р(х), п - оо. 


这 一 事实 说 明 , 对 于 所 有 点 ER, 当 п 一 со KA Е, 一 F 并 不 会 导致 函 
数 Р,(х) 回 F(x) 的 逐 点 收敛 . 不 过 , 结果 表明 , 无 论 是 伯 努 利 概 型 , 还 是 任意 分 布 
函数 的 一 般 情形 , 弱 收 和 敛 等 价 于 下 面 定义 的 所 谓 基 本 收敛 ( 见 下 面 定理 2). 
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定义 1 称 定义 在 数 轴 上 的 分 布 函 数 序列 Р), ЖАРА РА 
Е, > F), ЧЕ п — оо 时 
Faz) > F(z), x € C(F), 


其 中 CF) ERRAZ F 的 连续 点 的 集合 . 
对 于 所 考虑 的 伯 努 利 概 型 , 函数 F = F) 是 退化 的 , 而 由 此 不 难 导 出 (参见 第 
二 章 810 练习 题 7): 


(„ә куз (5 2p) 


这 样 , 考虑 到 下 面 的 定理 2, 有 
(Z 5p) ә (Б ® е) emm> P)» (2 2p), (7) 


因而 大 数 定律 的 论断 , 可 以 视 为 由 (2) 式 定义 的 关于 分 布 函 数 弱 收 敏 的 论点 之 一 . 
记 


Беер {уш <} 


1 т „2 
F(x) = =) е 2 ам. 
— OO 


根据 棣 英 弗 - ИЕН (第 一 章 50), МР Нтев,Е. (1) — Е(х), 从 而 
F, > Е. НТ ЕЗЕН Р, > F УЖИ Е, > РЯ ИИА 
RRI - МЕНЕ, 也 是 关于 (8) Ке в ва ЮТ. 

这 两 个 例子 证 实 下 面 定 义 2 引进 的 概率 测度 弱 收 敛 概念 的 合理 性 . 虽然 对 于 数 
办 的 情形 ， 弱 收 和 敛 与 分 布 函数 的 基本 收敛 等 价 , 不 过 作为 开始 还 是 倾向 于 考虑 弱 收 
ЭХ: 第 一 , 因为 弱 收 敛 更 便于 分 析 ; 第 二 , 因为 弱 收敛 对 于 比 数 轴 更 一 般 的 空间 也 有 
意义 , 特别 , 对 于 度量 空间 , 最 重要 的 例子 是 空间 К" Коо, С A О ( 见 第 二 章 83). 

З. ЗШЕ (E,Z, p) 是 度量 空间 , р = p(z,y) 为 度量 , 多 为 由 开 
集 生成 的 o- 代数 , m P, Pi, Po, 是 空间 (Е, 0, р) 上 的 概率 测度 . 

定义 2 ” 称 概率 测度 序列 {Р„} 能 收 伊 于 概率 测度 P (ВР, > P, 其 中 
ш 是 基文 词 weak convergence (99090) 的 字 头 ), 如 果 对 于 多 上 的 连续 有 界 函 数 类 
CE) 中 的 任意 函数 = f(z), 有 


(8) 


/ /(ж)Рь(4х) > J f(z)P(dz). ө) 
Е Е 
定义 3 ” 称 概率 测度 序列 {Pn} 基本 收 做 于 概率 测度 P ( 记 作 Pn > Р), 如 果 


Pn,(A) > P(A). (10) 
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HP Асе 是 任意 集合 , 满足 
P(0A)=0, | (11) 


而 54 表示 集合 А 的 边界 : 
ЗА = [А] п [А] 


其 中 [А] 表示 集合 А АЈ. 

下 面 的 定理 表明 , 概率 测度 弱 收 敛 的 概念 与 概率 测度 基本 收敛 的 概念 等 价 , 以 
及 其 他 等 价 的 提 法 . 

定理 1 下列 各 命题 等 价 : 

ГР, 一 Р; 

(Ш 对 于 闭 集 A, limPn(4) < P(A); 

(Ш) 对 于 开 集 4,limPn(4) > P(A); 

(М) Р, = Р. 
A (D= (1. 设 А 是 闭 集 , 记 


(о (4) * 
ДА\®) = | 一 AnA ) 
其 中 
р(х, А) = іц {р(х,у): y € А}, [=] = шах(0, z]. 
8-10 | 
А = {x : p(z, A) <=}, 
并 注意 到 当 =10 时 А | А. 


由 于 函数 /5(z) 有 界 、 连 续 并 且 满足 
Р,(А) = габр, (ав) < f дор, (95) 
则 当 <40 时 
БаР, (А) < йш | ЛА(е)Р» (45) = f ЛА(ФР(аз) < P(4°) | P(A), 


因此 (Т) = (П) 得 证 . 
如 采 由 集合 转换 为 其 相应 的 补 集 , ЛА (П) = (Ш) 和 (Ш) = (0) 显然 . 
(Ш) = (№). 设 A = 4\84 是 集合 4 的 内 部 , 而 А 是 集合 4 的 闭 包 ， 由 于 
(1) 和 (Ш) 以 及 假设 P(04) = 0, Д] 


ПтР, (А) < ВР, ([4]) < Р„([А]) = Р(А), 
lim P„(4) > lim Р„(А®) > P(A?) = P(A), 
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因此 对 于 每 个 А, 若 P(64) =0, Р,(А) > P(A). 
_ (№) = (1). B f= f(z) 是 连续 有 界 函 数 ,|jf(z)| < М. 记 


р = ЕВ: Рф: р(х) =Ц #0}; 
HEKA [--М, М] HOR Te = (totis №): 
-M = 10 < 1 <- < = МК 1, 
EP t g D,i = 0,1,.… ,k. (注意 , 由 于 集合 ЦВ 两 两 不 相交 , 而 测度 P ER, 故 
集合 D 有 限 或 可 数 .) 
设 В; 一 [т :bi < Р(х) < 1}. 由 于 函数 А2) 连续 ， АЈ И, Filt, ti+1) EFR, 


则 
ЭВ: Cf {ti U S Hti}. 


F tati} E D, 因此 Р(ӘВ;) = 0, Н (ТУ), 有 


k—i &—1 
> tiPn(Bi) 一 》 tiP(Bi) (12) 
1=0 $=0 | 


由 于 


k—1 
ЈР. (аз) – УР, (В) 


1-=0 


< 


[| оур»(вз) - | лаура) 


十 


Ek—1 
S P(B) - 人 /lz)P(dz) 


+=0 


k—1 k—1 
>》 tiPn(Bi) 一 》 tiP(B;) 


1=0 т=0 


十 


k—i к—1 
2 ,tiPn(Bi) – у tiP(B;) 
1=0 


1 三 0 


<2 max (Би-Е] + 
on í i+1 00) 


而 由 (12) АМ Тк > 1) 的 任意 性 , 可 见 
lim / др, (95) = 上 f(z)P(dz). 


注 1 证 明 中 出 现 的 函数 у(х) = Ila) 和 fala) 的 蕴涵 关系 (1) = (Ш), 相应 为 
上 半 连 续 性 和 一 致 连续 性 . 注意 到 这 种 情况 就 不 难 证 明 , 定理 的 每 一 个 条 件 , 与 下 列 
条 件 之 一 等 价 : 
(У 对 于 一 切 有 界 一 臻 连续 浮 数 f(z), 有 


上 Иер, (42) — | (аў) 


(М) 对 于 一 切 满足 利 普 希 茨 (К. Lipschitz) 条 件 (М, 87 引 理 2) отл (х), 
有 
J ларь) > | ларз), 
Е Е 
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(М) 对 于 一 切 有 界 的 上 半 连 续 函 数 2), Гл) < f(z), 当 zn эт в), 有 
lim n ~ Pl(d ; 
im J ГР, (аз) < J f(z)P(dz) 

(Уш) 对 于 一 切 有 界 的 下 半 连 续 函 数 f(z)(lim, (ен) > f(z), $ an> r в), 有 
lim f FlzjPu(dz) > J f(z)P(dz). 


+ 2 定理 1 可 以 推广 到 如 下 情形 : 将 空间 (Е,#,р) 上 的 概率 测度 Pah ТР, 
换 成 任意 有 限 测度 u 和 (未 必 是 概率 测度 ). 对 于 这 样 的 测度 , 类 似 地 引进 弱 收 敛 
Ln 一 u 的 概念 和 基本 收敛 un > u 的 概念 , 并 且 像 定理 1 一 样 证 明 下 列 条 件 的 等 
价 性 : 

(*) un > u; 

(П) Я ТИХ А, limun(A) < (А), В и. (Е) > ЩЕ); 

m) 对 于 开 集 А, lim n(A) > (А), В. и. (Е) 一 и(Е); 

(WV”) pn = н. 

如 果 将 条 件 (У) ~ (УШ) 中 的 P; ЯР, 相应 地 换 成 un 和 u, Д] (V*) ~ (УШ") 
中 的 每 一 个 条 件 , 都 等 价 于 (1*) ~ (IV*) 中 的 任何 一 个 条 件 . 

4. Н (К,.0(К)) E (R,. 罗 (R)) 是 数 轴 , 其 中 R 是 实数 轴 , 而 .多 (及 ) 是 由 欧 
几 里 得 度量 p(x,y) = |x 一 yl 生成 的 博 雷 尔 o- 代数 ( 见 第 二 章 Бо 第 2 小 节 注 2). 记 
Р. (п> 1) Я РЯ (К,.#©(®)) 上 的 概率 测度 , m Fain > 1) ЖП F ЖАНДУ P, A PH 
分 布 函数 . 那么 , 有 下 面 的 定理 . 

定理 2 下 列 各 条 件 等 价 : 

(1) Р, > Р; 

(2) P, = Р; 

(3) Fn 一 F; 

(4) Fn, > Р. 

证 明 ЮН (2) = (1) © (3), 可 见 只 需 证 明 (2) e (4). 

ШЖ Р, = Р, W (特别 ) 对 于 所 有 хє R(P{z} = 0), 有 


Рь(—оо,х) _ Р(-со,т|. 


这 说 明 Е. => F. 

MER Р, > F. AERAR Р, = Р, (由 于 定理 1) 只 需 证 明 对 于 任意 开 集 
А, 有 lim, P,(4) > P(A). 

假如 4 是 开 集 , 那么 存在 可 数 个 ( 形 如 (а,Ь) 的 ) 两 两 不 相交 开 区 间 1, Г, ..., 使 
А = Ур к. 国定 < > 0, 在 每 一 个 区 间 I = (аһ, br) 中 选择 一 子 区 间 1/ = (а, Ы], 
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а, Е C(F), Я Р(1,) < PUL) + Е? *. (由 于 函数 = Р(х) 的 间断 点 的 个 数 有 
限 或 可 数 , 这 样 的 区 间 1, (К > 1) 确实 存在 .) 那么 , 根据 法 图 引 理 , 有 


Р, (4) = lm РЬ) (1) > 2 lim Ри) > > lm (I). 


k=l1 k=1 k=i 
然而 , 由 于 
Palk) = Fn(bk) = Р„(а„) > Кб) 一 下 (ok) = Р(Тр), 
因此 
іар, (А ) > з P(I')> 2 (1%) — =2—*] = P(A) – є, 
因为 。 > 0 的 任意 性 ， 所 以 就 证 明了 = А 是 开 集 , 则 lim, P,(4) > Р(А)”. 口 


5. 定义 收敛 类 Я (ЕР) 是 可 测 空间 . TER HE) се 称 做 定义 类 , 如 果 
对 于 空间 (Е,&) 上 的 任意 两 个 烽 率 测度 P 和 О, 由 等 式 


P(A) = Q(4)， 对 于 一 切 АЕ. (Е) 
可 见 测度 P 和 Q 等 同 , 即 
P(A) = Q(4)， 对 于 一 切 АЕ. 


假如 (Е,&, о) 是 度量 空间 , 那么 子 集 系 Ж (Е) сб 称 做 定义 收 伊 类 , 如 果 是 
任意 测度 P, Pi, P2,- , 则 由 


Pn(4) 一 P(4)， 对 于 一 切 Ає WIi(E) H Р(дА)=0 


得 出 
Р„(А) 一 P(4)， 对 于 一 切 A ee 多, Н Р(0А) = 0. 

当 (Е,&) = (В,.8(®)) В, 作为 定义 类 AR), 可 以 选 “ 初 等 ”集合 类 Ж = 
{(—оо, x] : x E R} (第 二 章 83 定理 1). 由 定理 2 的 (2) М (4) 式 的 等 价 性 条 件 可 见 ， 
和 类 也 是 定义 收敛 类 . 

ВА, 对 于 更 一 般 的 空间 , 也 产生 定义 收敛 类 的 问题 . 

对 于 空间 R”(n > 2), ЖШ (оо, r] = (~, Ti1| х... х (—00, Tn], T E (T1,: , En) 
Е R” HRAD “Л RAKE 是 定义 类 (第 二 章 63 定理 2), EEE UKAA 
(练习 题 2). 

对 于 空间 К°, 柱 集 是 “初等 ” 集合 , 由 柱 集 的 概率 可 以 唯一 地 确定 一 88 
” 集 的 概率 (第 二 章 83 定理 3). 结果 , 这 时 柱 集 类 就 是 定义 收敛 类 (练习 题 3).， 

似乎 可 以 指望 , 对 于 更 一 般 的 空间 , 柱 集 类 是 定义 收敛 类 . 然而 . 一 般 并 非 如 此 

例如 , 考虑 具有 均匀 度量 p 的 空间 (C, BC, p) (第 二 章 82 第 6 小 节 ). ЖР Ж 
完全 集中 在 函数 z(t) = 0 (0 < t < 1) 上 的 概率 测度 , 而 Pain > 1) 是 概率 测度 其 中 
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对 于 每 一 个 п > 1, 都 全 部 集中 在 函数 rn = r(t) 上 ( 见 图 35). 不 难 验证 , 对 于 一 切 
Р(24) = 0 的 柱 集 4,P, (A) 一 P(A). 但 是 , 例如 , ERES 


О 1/п 2/п 1 £ 


Ё 35 


这 样 , 对 于 上 面 的 例子 , 柱 集 类 是 定义 类 , 但 不 是 定义 收敛 类 . 

6. 练习 题 

1. 称 定 义 在 В" 上 的 函数 = F(x) 在 点 тє К" 处 连续 , 如 果 对 于 任何 < > 0, 
存在 ô > 0, 使 对 于 一 切 满 足 不 等 式 |F(z) Fy) <= 的 yeRm, 满足 不 等 式 


т — де <у<т- бе, 


其 中 e = (1,… ,1) Е В”. 此 外 , 亦 称 分 布 函数 序列 {五 ,} 基 本 收敛 于 分 布 函 数 Е (За 
(ЕЕ, = Е), 如 果 在 函数 F = F(z) 的 所 有 连续 点 тек", 有 Е, (5) > Р(х). 

证 明 , 对 于 В” (т > 1), 定理 2 的 结论 仍然 成 立 . ( 见 定理 1 ЮЕ.) 

2. 证 明 , 对 于 空间 R, “40” 集合 类 Ж 是 定义 收敛 类 . 

3. 设 Е ЯН R”, С 或 DD 之 一 ,多 是 开 集 生成 的 博 雷 尔 集合 代数 , 而 {Pan} 
是 定义 在 o- 代数 上 多 的 概率 测度 序列 . Ж {Р„} 在 有 限 维 分 布 的 意义 上 基本 收敛 
于 概率 测度 Р (WE Pa > Р), 如 果 对 于 一 切 柱 集 4,P(84) = 0, 当 一 оо 时 
Р,„(А) — P(A). 

证 明 , 对 于 空间 为 R” 的 情形 , 有 


(Р, 5 Р) = (Р, > Р). 


问 对 于 空间 C 和 Р, 上 述 结果 是 否 成 立 ? 
4. РЕЖЋС 是 数 轴 上 的 分 布 函 数 , 而 


КЕ, С) = inf{h > 0: F(x —h)—h G(x) < ЕТ +В) +h} 
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是 (F 和 G 的 ) Ж# (Р.Р. Lévy) 距离 . ШЕН, “基本 收敛 ”与 按 由 距离 Г(.,.) 决定 
的 “ 莱 维 度量 的 收敛 ”等 价 : 


(Е. > F) © (КЕ, F) — 0). 
5. Е, > Е, НТР Р 连续 . 证 明 Е,(х) KAF Р(х), 与 当 оо 时 


sup Fale) — К(т)| — 0 


等 价 . 

6. 证 明和 定理 1 之 注 1 提出 的 命题 | 

7. 证 明定 理 1 之 注 2 中 提出 的 条 件 (F*) ~ (IV*) 等 价 性 的 正确 性 . 

8. 证 明 Р, > Р, 当 且 仅 当 序列 {Pa} 的 任何 子 列 {Р„,}, 都 包含 这 样 的 子 列 
{Prr}, 使 P >P. 

9. 4 (К,.(®)) 上 概率 测度 Р, Р. (п> 1) 的 例 满足 : Р, > Р, 但 是 对 于 一 切 
博 雷 尔 集合 B EBR), Pa(B) 可 能 不 收敛 于 P(B). 

10， 举 一 分 布 函数 F = F(z), Е, = Е.(х), п > 1 ВЯ, E F, > Е, 但 是 当 
п 一 оо Ё, вир, |Е„ (т) 一 F(x)| 不 收敛 于 0. 

11. 概率 论 方面 的 许多 教材 , 把 定理 2 关于 “分 布 函数 Е, 收敛 于 分 布 函 数 
的 命题 “(4) = (3)” 与 赫 利 - 布雷 (E.Helly - Ј.В.Вгау) 的 名 字 相 联系 . 因此 建议 证 
明 如 下 命题 : 

(а) 赫 利 -布雷 引 理 . ШЖ Fa => F (X 1), М 


b b 
im / 9(е)аЕ,(2) = f э(2)аР (а). 


其 中 a 和 ?是 分 布 函数 Р = Р(х) 之 连续 点 的 集合 中 的 两 个 点 , 而 g = g(z) Ж fo 
上 的 连续 函数 . | 
(b) WA -A ERE. ШЖ Е, = F, 而 g= (т) ÆR ЕК ЛЖ, ДІ] 


im {gs)ars(s) = f sadFG 


12. ВЕ, = Е, XFA b > 0, 序列 


(/ арава) | 


=> 


有 和 界 . 证 明 , 对 于 0<a<b, 有 
im f "ағ, (о) = | ағ (а) 
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对 于 任意 = 1,2,.… b], k 4b, 有 
lim | =, (2) = | «аға. 


13. ® Е, > F, Ш т = med(F), mn = шеа(Е,) ЖУ ЕЖ Е, 的 中 位 数 (第 一 
革 84 练习 题 5). 假设 对 于 一 切 п> 1, 中 位 数 m Я т, 的 定义 上 唯一, 证明 эы — т. 
14. 假设 函数 F 唯一 决定 于 其 各 阶 矩 : 


«= | т^аЕ(х), k=1,2,... 


i 


设 分 布 函数 序列 Е. рар 的 矩 满足 


n,k 一 Г. тағ, (т) — ак = Г. rdF(z), k = 1, 2, “ 
证 明 Fn => Р. 
15. 证 明 大 数 定律 的 如 下 的 一 种 形式 一 一 辛 钦 大 数 定律 : ИХ, Хх... 是 具有 
有 限 数 学 期 望 EX =m 的 、 两 两 独立 且 同 分 布 的 随机 变量 , 而 5, = Х,+...+Х,, 
那么 


Sn / 1 т. 
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1. 关于 分 布 函数 类 的 列 紧 性 问题 ”如果 给 定 概 率 测度 序列 , 则 在 考虑 它 (5) 
收敛 于 某 个 概率 测度 问题 之 前 ,当然 应 弄 清 它 一 般 是 否 收敛 于 某 个 测度 , 或 者 该 序 
列 是 否 人 至 少 有 一 个 收敛 的 子 序列 

例如 , 对 于 序列 {Pa}, 其 中 Pon = P, Ponp = Q, m Р A О 是 不 同 的 概率 测 
ВЕ, ЖА, {Pa} 显然 不 收敛 , 然而 它 有 两 个 收敛 的 子 序 列 {Pan} 和 {Р 1). 

对 于 非常 简单 构造 的 概率 测度 Pain > 1) 的 序列 {Р„}, ЖФ Р, 集中 在 点 
{п} 上 (Р„({п}) = 1), М {Pn} 既 不 收敛 , 也 不 含 任何 收敛 子 序列 . (АЖ, 对 于 任 
何 常数 а < b, Ша, Р (а, b) = 0, 则 极限 测度 理应 恒 等 于 0, 然而 这 与 当 n — оо 时 
1 = Р„(В) > 0 ЖД.) 有 趣 的 是 , 在 这 个 例子 中 相应 的 分 布 函数 序列 {Fn}: 


显然 是 收敛 的 : ХРЕН тє Е, 
Falz) > G(x) = 0. 


不 过 极限 函数 С = G(z) ( 按 第 二 章 83 定义 1) 并 不 是 分 布 函数 
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АЯ я, 是 因为 它 说 明 分 布 函数 类 不 是 列 紧 的 .这 个 例子 还 
提示 , 为 使 分 布 图 数 序 列 收敛 于 也 是 分 布 函数 的 函数 , 需要 某 些 预防 “质量 在 无 穷 流 
失 ” 的 条 件 . 

在 说 明 这 里 遇 到 的 困难 的 特点 之 后 , 我 们 给 出 基本 定义 . 

2. 分 布 函 数 类 的 相对 列 紧 性 和 完备 性 ”假设 所 考虑 的 一 切 测度 定义 在 度量 空 
8] (Е, №, р) Е. 

定义 工 称 概率 测度 族 = {Pa :аеч} 为 相对 列 紧 的 , ШЖ P 中 的 任何 测 
度 序列 包含 弱 收敛 于 某 一 概率 测度 的 子 序列 . 

项 要 强调 , 在 这 一 定义 中 假设 极限 测度 是 概率 测度 , 不 过 它 有 可 能 不 属于 原 概率 
测度 族 P. ( 正 是 因为 如 此 , 在 该 定义 中 出 现 了 “相对 ”二 字 .) 

验证 给 定 的 概率 测度 族 的 相对 列 紧 性 相当 困难 . 因此 , 希望 有 进行 此 检验 的 简 
单 而 方便 的 准则 . 下 面 的 概念 有 助 于 实现 这 一 目标 . 

定义 2 概率 测度 族 P = {Po : a E Я} 称 为 完备 的 , 如 果 对 于 每 一 个 。 > 0， 
FERA KC E, 使 

sup Ра(Е\ К) < &. (1) 


定义 3 ”定义 在 R(n > 1) 上 的 分 布 函数 族 F = {Fx : аси} 称 为 相对 列 紧 
的 (完备 的 ), 如 果 相 应 的 概率 测度 族 P = {Pa : a є и} 是 相对 列 紧 的 (完备 的 ), 其 
中 P。 是 按 Е, 建立 的 测度 . 

3. 概率 测度 族 列 紧 性 的 条 件 ”下 面 的 结果 , 在 整个 概率 测度 的 弱 收 和 敛 问题 中 有 
重要 的 作用 . 

定理 1 (ШЭ 5% Ж [Ю. В. Прохоров] 定理 ) # Ф- {Рр,:а ЕМ} 是 定义 
在 完全 可 分 度量 空间 (Е, р) 上 的 概率 测度 族 . MAAP 是 相对 列 紧 的 , 当 且 仅 当 
它 是 稠密 的 . 

证 明 我 们 只 对 巨 是 数 轴 的 情形 证 明定 理 . (这 一 证 明 亦 可 用 于 任意 欧 几 里 得 空 
№] В” (п > 2) (155],[5]). 然后 依次 证 明 对 于 в 以 及 对 于 o- 列 紧 空间 定理 成 立 ; 最 
后 , 对 于 一 般 完 备 可 分 度量 空间 , 通过 将 每 一 种 情形 归结 为 上 一 种 , 并 证 明 其 成 立 .) 

必要 性 ， 假设 (R, BR) 上 的 概率 测度 族 P = {Pa : 0 E U) 相对 列 紧 但 不 秽 
Ж. 那么 , 存在 这 样 一 个 s > 0, 使 对 任意 紧 统 КСЕ, 有 


sup Pa(R\K) > є, 
即 对 于 任何 区 间 1 = (а,Ь), 有 

sup Pa(R\Z) > =. 
由 此 可 见 , 对 于 任何 区 间 In = (п, п), п > 1, 存在 这 样 的 测度 P。, 使 


Po (К\/„) > є. 
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”既然 测度 族 P 是 相对 列 紧 的 ， 则 在 序列 {Р.> 中 存在 子 序列 {Pan} 1й 
Pan, “› Q, 其 中 Q 是 某 一 概率 测度 . 
那么 , 由 于 81 中 定理 1 的 等 价 条 件 (TD 和 (П), 对 于 任何 п > 1, 有 


а Р. (В\1,) < Q(R\In). (2) 


但 是 О(В\Г,) | 0,n — оо, 而 (2) 式 的 左 侧 大 于 є > 0. 这 一 矛盾 说 明 , 事实 上 由 相 
对 列 紧 性 导致 稠密 性 . 

为 证 明 充 分 性 , 我 们 需要 一 个 ( 称 为 赫 利 定理 的 ) 一 般 结 果 : 关于 广义 分 布 函数 性 
质 的 列 紧 性 (第 二 章 83 第 2 小节). 以 = {С} 表示 满足 下 列 性 质 的 函数 G = G(z) 
(Хт) 的 全 体 : 

1) G(x) ЖЖ 

2) 0 <С(—<), С(+оо) < 1; 
3) G(x) 右 连续 . 
显然 , У ЕЛА 9 = {Е}, 其 中 К(—со) = 0, Е(+оо) = 1. 

定理 2 (ЖИЕН) ”广义 分 布 郧 数 类 7 = {G} 是 列 紧 的 , 即 对 于 多 中 的 任 
意 函 数 序列 {С}, 在 I PEERK G) E 9 和 子 序列 {np} С {п}, 使 对 于 属于 函 
% G = G(x) 之 连续 点 的 集合 ССр 中 任何 点 r, 有 


Gn, (т) = G(x), k > оо. 


证 明 记 了 工 ={ztrzz :为 取 上 可 数 且 处 处 稠密 的 集合 . 由 于 序列 {G(x1)} 
AR, 故 存 在 子 序列 Ni = mn, п) .. .}, 4 i 一 оо 时 Сао (21) 收敛 于 某 个 数 
gi; 而 子 序列 Ni 中 存在 子 序列 Л = {nP nP, h, E4 i oo 时 С (тә) 收敛 

ТААХ 92, 依 此 类 推 . | 

在 集合 了 SR 上 定义 函数 Gr(z), 设 


Ст(2:) = gi, Ti ЄТ, 


并 考虑 “ 康 托 尔 ”对 角 序 列 N = mE, п, …}. ЖА, 对 于 任意 zi ЕТ, Ч т o 
时 , 有 | 
Ст (£i) — Gr(zxi). 


最 后 , 对 于 所 有 z ER, 定义 函数 G = G(x), 8 
G(x) = inf{Gr(y): y ET,y > zx}. (3) 
可 以 断定 , С = G(z) 就 是 所 求 的 函数 , 且 对 于 G(z) 的 一 切 连续 点 x, 有 


G m (z) 一 G(z) 
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事实 上 , 由 于 所 考虑 的 一 切 函 数 G。 都 是 不 减 的 , 故 对 于 属于 集合 T 且 满 足 不 
等 式 ху 的 一 切 х, у 有 
С ист ($) < @ исто (0). 


因此 , 对 于 满足 上 面条 件 的 т,у, 有 Grle) < Ст(у). 由 此 和 定义 (3), Ч М G = G(x) 
是 不 减 函数 . 

现在 证 明 С = G(z) 右 连 续 . 设 ть | х Ма = lim G(zk). 显然 G(z) <d, 只 
需 证 明 G(x) = а. 假设 相反 : G(z) < 4. ЖА, (3) АН М, 存在 ує Т,т < у, 使 
Ст(у) <d. 对 于 充分 大 的 k,x < ль < у, В С(хь) < Ст(у) <d, H іо С(ть) < d, 
而 这 与 4 = lim; G(zp) FE. РЕ, 所 构造 的 函数 G) ВТ Я. 

最 后 , ШЕННЕ: 对 于 任意 点 r? Е C(G), 有 


С ст) (x?) 一 全 G(x’). 
如 果 10 <иЕТ, №] 
limG (m (x°) < limG om (у) = Gr(y), 
т, m m m 


因此 
limG „gm (29) < inf{Gr(y) :2 ET, y> х9} 一 С(20). (4) 


为 一 方面 , хт <у< 10 уЕТ, М 


G(r) < Ст(у) = limG, m (y) = Шаб m (у) < limG оз) (29). 
тт, m m TIA m m 


因而 , 当 х! 1 хо 时 , 得 
С(29—) < limG (=) (20). (5) 


но 


ПЖ С(х°—) = С(20), 则 由 (4) 和 (5) 式 可 见 
Ст) (x?) 一 С(х°),т 一 оо. Г] 


现在 完成 定理 1 的 证 明 . 

定理 1 的 充分 性 设 概率 测度 族 多 完备 , 而 {Р„} Ж 多 中 的 某 一 概率 测度 序 
Ў], 以 {Е} 表示 相应 的 分 布 函数 序列 . 

由 于 赫 利 定理 , 存在 {Fn} 的 子 序列 {Fn} С {Е,} МГ ХТ С(т) Е 9, 
使 对 于 x Ee C{G}, Е,, (х) > G(x). 现在 证 明 , 由 概率 测度 族 P 完备 的 假设 可见 函 
С = G(z) 是 “真正 的 ”分 布 函数 (С(—оо) = 0, С(+оо) = 1). 

Ж=>0, М Г = (a,b) 是 使 


sup P (В \ Г) < Е, 
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ИП ДЕ 


1 — e < Pala, bl, n > 1, 
的 区 间 . 选择 点 a,b e CG), Ea <a, b >b. ЖА, 
l — E S Pn, (a, b] < Pn, (0,6) = Fns (b) — Е, (а) — G0) – Gla’). 


由 此 可 见 С(+оо) — С(—оо) = 1, MHF 0 < С(—оо) < С(+оо) < 1, TA, С(—оо) = 
0,G(+o0)= 1. 

于 是 , 极限 函数 G = С(х) 是 分 布 函数 , Н Е, = С. 因此 , 连同 81 的 定理 2 就 
证 明了 P。 >Q, 其 中 О 是 根据 分 布 函数 С 建立 的 概率 测度 . 口 


4. 练习 题 

1. 对 于 空间 В”(п > 2), 证 明定 理 1 和 2. 

2， 设 Pao 是 直线 上 参数 为 т. Я о2,а с и 的 高 斯 测度 . 证 明 , WER Ф = 
{Paa EU 是 完备 的 , 当 且 仅 当 存在 常数 a ЖЬ, 使 


Mal < а,о2 < b,a € 4. 


3. 举例 : 定义 在 (К°°,.@(К°°)) 上 的 , (1) 稠密 的 概率 测度 族 PF = {Рае U}, 
(2) 不 稠密 的 概率 测度 族 吧 = {Рас U}. 

4. 设 P 是 度量 空间 (ЕР, о) 上 的 概率 测度 . 称 测度 P м (对 照 定义 2)， 
如 果 对 于 任意 = > 0, 存在 紧 统 КСЕ, 使 Р(К) 21-е. 证 明 下 面 的 结果 ( 伍 拉 姆 . 
[Woollam] Ж Ж): 每 一 个 完全 可 分 度量 空间 上 的 概率 测度 Р 是 稠密 的 . 

5. &Х = {Xaa E м} 是 一 随机 向量 族 , 且 对 于 某 个 > > 0,sup_ 上 Xoll* < оо. 
证 明 分 布 的 已 = Law(X6) 分 布 族 P = {Paa E U) 是 稠密 的 . 


$3. 极限 定理 证 明 的 特征 函数 法 


1. 历史 情况 概述 ”在 概率 论 中 , 最 早 极 限定 理 — 大 数 定律 , 棣 莫 弗 - 拉 普 
拉 斯 定理 , 以 及 伯 努 利 概 型 中 的 泊 松 定理 — 的 证 明 , 基于 求 极限 前 对 分 布 函数 F, 
的 直接 分 析 , 而 Р„ 可 以 十 分 简单 地 由 二 项 概率 表示 . (在 伯 努 利 概 型 中 , 随机 变量 只 
有 两 个 可 能 值 , 故 本 质 上 可 能 明显 地 求 出 函数 Е.) 然而 , 对 于 更 复杂 形式 的 随机 变 
量 , 类 似 的 对 函数 Е, 直接 分 析 的 方法 实际 上 无 法 实现 

对 于 服从 任意 分 布 的 、 独 立 随机 变量 之 和 的 极限 定理 的 证 明 , 首先 是 切 比 雪夫 
实现 的 . | 

切 比 雪夫 提出 的 、 现 在 众所周知 的 “ 切 比 雪夫 不 等 式 ”, 不 但 可 以 用 初等 方法 证 
ВЯ 1. 伯 努 利 大 数 定律 , 而 且 为 独立 随机 变量 之 和 5, =& 十 … + (п > 1) 的 大 数 
定律 : 对 一 切 > 0, 有 

Р 


©, ESpn 
P >e) = 0,n = o, (1) 


n 
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建立 了 相当 一 般 的 条 件 . ( 见 练习 题 2 .) 
此 外 , 切 比 雪夫 创建 (而 马尔 可 夫 完善 ) ГАНЕ Че Ж”, 用 这 种 方法 可 以 证 明 标 
ЖЕР - 拉 普 拉 斯 定理 的 论断 : 


Р Е Б" < z} ==]. в- “ди(= Ф(х)), (2) 


并 且 在 如 下 意义 上 具有 广泛 的 特点 : 它 在 关于 被 加 随机 变量 的 性 质 十 分 一 般 的 假设 
下 成 立 . 这 正 是 把 命题 (2) 称 做 概率 论 的 中 心 极限 定理 的 根据 . 

彬 后 ， 李 亚 普 话 夫 提出 了 另 一 种 证 明 中 心 极 限定 理 的 方法 ，( 源 于 拉 普 拉 斯 的 ) 
这 种 方法 以 概率 分 布 的 “特征 函数 ”的 思想 为 基础 . 后 来 的 发 展 说 明 , 李 亚 普 诺 夫 的 
“特征 函数 方法 ”在 证 明 最 为 多 种 多 样 的 极限 定理 时 , 是 十 分 有 效 的 , 这 决定 了 它 的 
发 展 和 广泛 的 应 用 . 

这 一 方法 的 实质 如 下 . 

2. 分布 函数 与 特征 函数 对 应 的 连续 性 ”我们 已 经 知道 (第 二 章 $12), 在 分 布 函 
数 与 特征 范 数 之 间 , 存在 一 一 对 应 关系 . 因此 , 可 以 通过 特征 函数 来 研究 分 布 函数 的 
性 质 ， 最 出 色 的 事实 是 , JARAK Р, > Е, 与 相应 特征 函数 的 逐 点 收敛 
pn 一 9, 二 者 等 价 . 并 且 , 下 面 的 定理 提供 了 “关于 数 轴 上 分 布 的 弱 收 和 敛 定理 ” 证 明 
的 基本 工具 . 

定理 1 (连续 性 定理 ) Хх {Е} 是 分 布 函 数 序 列 : Fa = Е. (х), тє R, № {0} 
定 相 应 的 特征 函数 序列 : 


pn(t) = / ета (т), € В. 


1) 2 ЖЕ, >F, 其 中 Е=Е(2) 是 某 一 分 布 吕 数 , 则 pn(t) > p(t), 其 中 g(t) 
Æ F = F(x) 的 特征 函数 . | 

2) 如 果 对 于 每 个 t+€ К 存在 极限 lim, р. (0), mA y(t) = Шт, pnt) 在 t=0 
连续 , Я] p(t) 是 某 一 概率 分 布 F= Flr) Ж, А 


Е Е 


证 明 将 弱 收 敛 的 定义 分 别 用 于 函数 Re е“? 和 Im ейт, 立即 可 以 证 明 命 古 1). 

命题 2) 的 证 明 , 要 求 事先 证 明 几 个 引 理 . 

51321 设 {Pn} 是 稠密 概率 测度 族 . 假设 序列 {Р„} 的 弱 收 敛 子 序列 {Pr}, 
ЖЖ т ЖАР. 那么 , 整个 序列 {Р„} 也 弱 收 化 于 同一 概率 测度 Р. 

证 明 假设 结果 相反 : Р, > Р. ЖА, 存在 这 样 的 有 界 连续 函数 f = f(x), 使 


J ИР, (ё) — 人 f(z)P(dz). 
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由 此 可 见 , 存在 = > 0 MERKA {n} С {п}, 使 


> є (0). (3) 


лсд» (ав) — f ур 


中 Q 是 某 一 概率 测度 . 
根据 引 理 假设 P = Q, 因而 应 有 


f f(z)Pa (аа) > f jz)P(dz) 
R Лв 


而 这 与 (3) AFE, 从 而 引 理 得 证 . Г] 
522 设 {Pn} Ж (К,.0(К)) 稠密 概率 测度 族 . 序列 {Phn} 88 КТ ЖЖ 
Я] №, 当 且 仅 当 于 每 个 te 了 存在 极限 limn р, (©, MAR pn(t) ЖАР, ИН 
| Ж: 
„(#) = | е“*Р, (ал). 
pn (如 J. (9х) 


证 明 ПЖ {Рр HE, 则 根据 普罗 霍 罗 夫 定 理 , 存在 数列 {Pu} 和 
概率 测度 Р, 使 Pvw >P. 假设 结果 相反 : 整个 序列 不 收敛 于 Р(Р„ —% Р). ЖА, 
根据 引 理 1, 存在 子 序 列 {Pu} 和 概率 测度 Q, 使 Pw >Q, #H P ZQ. 

现在 利用 : 对 于 每 个 te R 存在 极限 lim pn(t). ЖА, 


lim f e*t Pa (dz) = lim f e" Pnr (ат) 
т’ R n” R 


因而 
"Р (аз) = | e**Q(dr), teR. 
R R 


由 于 特征 函数 唯一 决定 分 布 (第 二 章 $12 定理 2), 故 P = Q 5ER P, Р 矛盾 . 
最 后 , 由 弱 收 敛 的 定义 , 可 见 引 理 相反 的 结论 成 立 . и 
下 一 引 理 , 根据 特征 函数 在 0 的 邻 域 内 的 性 质 , 给 出 分 布 函数 “尾部 ”的 估计 . 
引 理 3 ЖРЕ= Р(х) 是 数 轴 上 的 分 布防 数 , 而 р = p(t) 是 其 特征 通 数 . ЯА, 

存在 常数 KK > 0, 使 对 于 任何 a > 0, 有 


K ү | 
р ДЕ (т) < Р / [1 — Вер(Е)] 4+. (4) 


证 明 由 于 
Rew( = / cos trdF (т), 


53. 极限 定理 证 明 的 特征 元 数 法 . 355 . 


MEE, 可 见 
1 [п — Rey(t)]dt = f Га — costa)dF(a)| dt 


а 


= f. Е [а — costa)dt а(х) = J. (1 一 "іш. dF (x) 


| 1 
> inf (1 — = x ] dF(z) = = аЕ (2), 
|0121 У [ах|>1 К |т|>1/а 


其 中 


1 | smy 1 
Кв | О у 7” 
TE, ЖЖ К =7 时 (4) 式 肯 定 成 立 . 0 
定理 1 的 命题 2) МЕ. E pn(t) > p(t),n 一 оо, 其 中 y(t) 在 0 连续 . 现在 
证 明 , 由 此 可 见 , {Pn} 是 稠密 概率 测度 族 , 其 中 Р, 是 对 应 于 分 布 函数 Е, 的 测度 . 
由 于 (4) 起 和 控制 收 化 定理 , 当 n 一 со В}, 有 


NG 


一 ~ fe — Rep(t)ldt. 


) =1-sin1> 


由 于 根据 定义 p(t) 在 0 ЯН (0) = 1, 可 见 对 于 任何 s > 0, 存在 a > 0, 使 对 于 
一 切 n > 1 有 


从 而 测度 族 {Р„} AE, 而 引 理 2 知 存在 概率 测度 Р, 使 
P, =P. 


因此 бю OO 
pn(t) = J ettzrP (ат) 一 / eit*P(dz), 


ВР p(t) 一 p(t). ТЯ, ot) 是 概率 测度 P 的 特征 函数 . 口 

Ж ЖР) ARAKAS, 而 {pn} 是 相应 的 特征 函数 序列 . 此 外 , ЖЕ Ж 
分 布 函数 , тр 是 其 特征 函数 . ТА, Е, >F, 当 且 仅 当 对 于 一 切 t ER, pn(t) > 
P(t), п — оо. 

№ 设 n,m,m2,… 是 随机 变量 , НЕ, > Е. ЖА, НН 810 €X 
4, 称 随机 变量 з, тр, КОЖЕ п, 并 记 作 m Sn. 这 一 记号 很 直观 (а 是 
distribution 的 字 头 ), 因此 在 表述 极限 定理 时 , 常 认为 表达 式 m S п E Е, S Е, 
更 好 . 
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3. 极限 定理 证 明 的 特征 函数 方法 ”在 下 一 节 , 定理 1 将 用 于 不 同 分 布 的 、 独 立 
随机 变量 中 心 极 限定 理 的 证 明 . 证 明 将 在 所 谓 林 德 伯 格 (J. W. Linderbege) 条 件 下 
进行 . 然后 证 明 , 李 亚 普 诺 夫 条 件 可 以 保障 林 德 信 格 条 件 成 立 . 现在 , 我 们 用 特征 函 
数 法 证 明 几 个 简单 的 极限 定理 . 

定理 2 (АЛЕ) H &1,&2,::. 是 独立 同 分 布 随机 变量 序列 ， 且 E| 
< оо, ЕЕ = m, Sn = £1 +... En, 则 5, /п э m, 即 对 于 任何 e > 0, 有 


P| Som >e) —0, n 一 оо. 
证 明 设 olt) = Бене: 和 ps п) = Бете, MI EBENE RK ER 
$12 的 公式 (6), 有 | 
O 


plt) = 1+ itm + o(t),t — 0 


而 根据 第 二 章 $12 的 (14) R, 有 


因此 , 对 于 任何 给 定 的 te 民 , 有 


从 而 ， 


ЕП ( 见 第 二 章 510 的 练习 题 T) 


Р 
" әт. Li 


定理 3 (独立 同 分 布 随机 变量 的 中 心 极限 定理 ) A &, 2... 是 独立 同 分 布 


ЗЕ -Eon <=} — Ф(т), т Є R, (5) 


из." 


其 中 


63. ”极限 定理 证 骨 的 特征 函数 法 | ‚357. 


证 明 设 Ес} — т, DE: — o$, 而 
plt) = Feit(é1—m) 


那么 , 1а 
it 2-Е в 


Pnlt) = Ee Ps, 


мө) 
但 是 , 根据 第 二 章 612 的 (14) А, 有 


则 


因此 , 对 于 任意 固定 的 t+ 和 n оо, 有 


Pn(t) = [ 一 人 +о (3) эел. 
函数 е! /2 是 均值 为 0 而 方差 为 1 的 正 态 分 布 ( 记 作 N(0,1)) 的 特征 函数 , Ж 
由 定理 1 可 见 (5) 式 成 立 . 根据 定理 1 的 注 , 可 以 将 该 结果 写成 


Sn — и а 
JDS 一 №0, 1). (б) 
n 


| 口 
土 面 两 个 定理 , 涉及 “独立 同 分 布 (规范 与 中 心 化 ) 随机 变量 之 和 Sa = 6+... 
én” 的 概率 的 浙 近 性 质 . 然而 , 为 表述 泊 松 定理 (第 一 章 86), 不 得 不 考虑 更 一 般 的 模 
型 , 即 所 谓 随 机 变量 的 系列 概 型 . 
具体 地 说 , 假设 对 于 每 个 n > 1, 给 定 随 机 变量 6 1,:… Е... 换 句 话说 , 给 定 随 
机 变量 的 (Т) ЕЕ: | 
£11 
E21 E22 
E31 E32 E33 
其 中 每 一 行 (第 一 行 除外 ) 的 随机 变量 相互 独立 . 设 S = Eni 十 … 十 Enn. 
定理 4 (НА) Л nl, 独立 同 分 布 随 机 变量 上 1 Еж 
Р{ ё. = 1} = рьк, Р.к = 0} = фк, L Sk Sn, 


Рек + Чак = 1, тах рак > 0,рь +: + Pnn > А > О, п —э œ. 
1<Е<т 


党 
` 


А” _ | 
Pton = т} > -те à т = 0,1, ::- (7) 
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证 明 因为 对 于 1<k<n， 
Ее? ^к 一 DPKe 寻 十 dnk, 


所 以 , Ч п 一 œ Н, 有 


n 
025, (2) — Ее 5" — [| (рһке“ + dnk) 
k=1 


一 Je 十 pnk(e — 1)] > ехр{Л(е" — 1)}. 


x 
Ш 


РАК y(t) = ехр{Л(ей — 1)} 是 泊 松 分 布 的 特征 函数 (第 二 章 $12 第 2 小 节 例 3), 从 
而 (7) 式 得 证 . 如 果 以 r(A) 表示 参数 为 А 的 泊 松 随机 变量 , 则 仿照 (6) 式 可 以 将 (7) 
式 写 成 | 

Sn < n(A). С 


4. 2] 

1. 对 于 空间 В”(п > 2) 的 情形 , 证 明定 理 1 的 命题 

2. $ & ,2,'… 是 独立 随机 变量 序列 , 并 且 具 有 有 限 均 值 也 | 纪 | 和 方差 Dén, 而 
Dé < K < о, 其 中 К 是 某 一 常数 . 利用 切 比 雪夫 不 等 式 证 明 大 数 定律 (1). 

3. 在 定理 1 的 系 中 , 证 明 函 数 族 {on} 一 致 连续 , 并 且 在 每 一 个 有 限 区 间 上 有 
一 致 收敛 yn 一 p. | 

4. 设 ype,(t),n > 1 是 随机 变量 &,(n > 1) 的 特征 函数 , 证 明 є, © 0, 当 且 仅 当 
在 点 t= 0 的 某 邻 域内 ос (Р) 一 1,n — оо. 

5. 设 Xi’ Xz o 是 ( 取 值 于 R* АЈ) 独立 同 分 布 随机 向 量 序列 , 且 具 有 0 均值 
和 (有 限 ) 协 方差 矩阵 Г. 证 明 


Xi 十 … 十 Xn 


万 £, N(0,T). 


(对 照 定 理 3.) 

6. 设 éié Я т, т, ··· 是 两 个 随机 变量 序列 , 且 对 于 每 一 个 men 与 mm Ж 
立 . 假设 当 п э oo 时 6 SE, т, п, Е Бу. 证 明 二 维 随机 变量 序列 
(и, m) 按 分 布 收敛 于 (E, n). 

设 / = flr y) 是 连续 函数 , 证 明 序 列 f = flin m) АРМИЯ / = /(©,т)). 

7. 举例 说 明 , 定理 1 之 命题 2 中 “极限 ”特征 函数 y(t) = lim pn(t), 在 0 的 
连续 性 条 件 一 般 不 能 减弱 . ( 换 名 话说 , 假设 分 布 F 的 特征 函数 y(t) 在 0 不 连续 , 则 
可 能 出 现 这 样 的 情况 : фи (+) 一 plt), 然而 Е, -了 Е.) 举例 说 明 : 缺少 p(t) 在 0 连 
续 的 条 件 , 可 能 导致 破坏 概率 分 布 族 Р„(л > 1) 的 稠密 性 , 其 中 oat) ЯР, 的 特征 
РЁ Ж. 


$4. 独立 随机 变量 之 和 的 中 心 极限 定理 т. 林 德 伯 格 条 件 ‚ 359 . 


54. 独立 随机 变量 之 和 的 中 心 极限 定理 т. 林 德 伯 格 条 件 


1， 林 德 伯 格 条 件 ”在 这 一 节 , 将 在 满足 经 典 的 林 德 伯 格 条 件 的 传统 假设 下 , 证 
下 一 市 将 考虑 更 一 般 的 情形 : 第 一 , 中 心 极限 定理 直接 为 “系列 形式 ”, 第 二 , 其 证 明 
在 满 正 所 十 非 经 典 条 件 下 进行 . 

定理 1 Réré 是 具有 有 限 二 阶 甜 的 独立 随机 变量 序列 . 假设 


ть = Её,,0 = Dék > 0,5, = 和 上 和 D2E = У ой, 
k=1 
而 Е, = Е. (т) 是 随机 变量 & АЖЖ. 
假设 满足 “ 林 德 伯 格 条 件 ”: 对 于 任意 < > 0, 


ті. 


(L) 5z ] (£ — ть)?аЕ, (ж) > 0,п > оо. (1) 
n pai {21-та |>ер,,} 
ЖА, 
м" = N(0,1) (2) 
证 明 ЛЕЕЖЕНЫИЫАИ А ть = 0(k > 1). w 
pk(t) = Ее'#* , Tn = = = ze, p。 (t) = Ее", р. (t) = Бейт". 
ЖА, 


фт, (t) = Бей" = Ее’ 8 = р. (5) = П Pk (>) | (3) 
而 (由 于 83 定理 1) 为 证 明 (2) 式 , 只 需 对 于 任意 te RR, 证 明 
Pr, (t) ет, п оо. (4) 
取 某 个 te В, 并 认为 在 整个 证 明 过 程 中 t 是 固定 的 . 由 于 分 解 
e = 1 ++ и 


2 3 
, 0 


对 于 每 一 个 实数 у, 其 中 |91| < 1,1001 < 101 = 01 (у), 02 = 6(0)), 有 


Pk(t) = Ее 一 ] еар, (т) 


| Ө, (+ 2 2.2 3 
-| (++ AEL) dri(z)+ | (itits + Г) ағу (2) 
|| жє 2 |z| <EDn 2 б 


{2 {2 
-1+4 в. 2?аЕ, (г) — 5 | 


2 Лај>ер,, 1z|<eD。 


24р а 
T ару (т) 十 6 


bz|z| dF (т), 
[zl<eD, 


· 360 - 第 三 章 ”概率 测度 的 接近 程度 各 收效 性 . 中 心 极限 定理 


其 中 用 到 : 根据 假设 
mMk = ] тағ (т) = 0. 
从 而 
ОЕ (>) —1— д т^аЕк(х) + рә | 91т°АаЕР» (т) 
Dn 20% (1|<=ЕО)ь 2р2 а|>2єр,, 


| ] 3 
十 一 一 > 92 |1 ағ}, х). 
6D3 Iz|<eD,. | | 


(5) 


(6) 


(7) 


由 于 
1 , 1 › 
一 9, х^аЕк(х)| < = т“АЕк(х), 
2 Jizl>eDn 2 Jiz|žeDn 
有 1 
5 | O17 “dF (т) =- rdFy(z), 
2 Jizl>sD。 zl|>eD。 
其 中 Ө, = 91 (К, п), [91| < 1/2. 
同样 ， 
1 1 Dan 1 
в] Ферары) ә 22а) <i сРьаавые), 
0 [zt|<eD,, 0 Iz|<eD,, | 6 || <=)» 
Вр 
1 ~ 
F falzi dF (х) = | єЮһї^ағ (х), 
б |=1<єр,, |2|<=р,, 


其 中 b2 — ba(t, k,n), A < 1/6. 
现在 , 设 


| 1 
Ак» = р | х?ар (2), Вк, = сз | rdF (т). 
Г? |21 ce Dn DŽ le|z2eDn 


Tl 


t? Akn ~ ~ 
Pk (=) =1— 6" + #20, Brn + |8е0Аь.(= 1+ С). 


注意 到 


т 


У (Ак 十 Bkn) =1, 


k=1 
并 根据 条 件 (1), 有 


Тт 
У Byn 下 О, п — оо. 
k=1 


(8) 


(9) 


(10) 
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因此 , 对 于 充分 大 的 n, 有 


1413 
Шах Ст! < е? + elt! (11) 
和 和 Ti 
` [Cyn] S #2 + |. _ (12) 


k=l 


现在 利用 如 下 事实 : 对 于 复数 >, 27 jz| < 1/2, W 
in(1 + z) = -+Е0|:|?, 


其 中 Ө = 0(2), |0] < 1, 而 im 表示 对 数 的 主 值 (Inz = 1п|г| + iargz, -п < argz < т). 
ЖА, 对 于 充分 大 的 n, 由 (8) 式 和 (11) R, 可 见 对 于 充分 小 的 e> 0, 


t 
In Yk (>) 一 1п(1 + Ска) = Ckn + т [Ст |, 


其 中 < 1. 因而 ,有 (3) 式 可 见 


2 < - 
р +1 фт, (t) = з + (去 _) = + Cen + ) Okn| Сы. 
六 一 工 k=1 
ит 
Г 5+ бы = — Si — УА) кеу НК, п) Bern ЭС t, К, п) Ара, 
k=1 


而 由 (9),(10) РЯ, 对 于 任意 6 > 0, ЕАК по Ñ e > 0, 使 对 一 切 n > по, 有 
§ + DC 


< 5 


此 外 , 由 (11),(12) 两 式 , 可 见 
P| < шах Сых Уо < (PE? + elt) +В) 


因此 , 对 于 充分 大 的 п 和 适当 选择 的 。 > 0, 可 以 使 
У 0..|Сь.|? 
k=1 


从 而 


< д. 


#2 
> + ln PTa ( 
这 样 , 对 于 任何 实数 t, 有 | | 
pr, (Вет > 1,n — оо, 


тж, 


2 
фт. (t) => eT, п —э оо. g 


. 362. 第 三 章 ”概率 测度 的 接近 程度 和 收敛 性 . 中 心 极限 定理 


2. 林 德 伯 格 条 件 的 某 些 特殊 形式 ”考虑 满足 林 德 伯 格 条 件 (1) 的 某 些 特殊 情 
形 , 从 而 也 就 是 中 心 极限 定理 成 立 的 情形 . 
а) 李 亚 普 诺 夫 条 件 . 对 于 某 个 6 > 0, 


1 


п 
2+5 у. Е, 一 тик [215 > Ün 一 CC， (13) 
n è k=l 


设 <>0. ЖА 


ЕЕ — ть +6 = f О Jz та, (2) 


> ] 人 之 一 ть|?*°аРь (2) > єз D? ] (z 一 mp) dF (х), 
{х:|в—тть|>єЮ„ } {ж:|ж—тъь |> „} 


因此 , 4 п 充分 大 时 , 有 
1 之 1 1х 
D2 э КИЕ: — mp) dF (т) < 25 х 万 545 BE — ту, 2+5. 
从 而 , 李 亚 普 诺 夫 条 件 可 以 保障 宁德 伯 格 条 件 成 立 . 
b) 独立 同 分 布 情形 . 假设 &, 5... 是 独立 同 分 布 随 机 变量 , 且 存 在 т = 了 Bei 
和 方差 0 < о? = Рё < оо, 那么 
1 一 n 
一 — 24 2 _, 
Dn Dh m) F(a) па? ИИС т) ағ (т) 0, 
因为 当 n 一 оо Н, {x : |z- тј > eo? /п} | ©, № о? = Е(& — т)? < оо. 
于 是 , 林 德 伯 格 条 件 成 立 , 从 而 由 53 的 定理 3 可 得 已 证 明 的 定理 1. 
с) 一 臻 有 界 的 情形 . 假设 а, 6... 是 独立 随机 变量 , 且 对 于 一 切 n> 1, 有 


[én | < К < оо, 


其 中 K 是 某 一 常数 , НЧ п 一 oo 时 , Р, +. 
那么 , 根据 切 比 雪夫 不 等 式 


J (£ — ть)?аР, (х) = Е[(& — ть)? Тк — ть| > EDn) 
{ж:|ж—-тк]|>єБ„} 


2 
2 2_Ок 
< (2К)"Р{|& – тк| > eDn,} < (2K) Ap? 


因此 , У п 一 со 时 ， 
І ~ 2 (2К)? 
一 一 一 T— т, \аЕ (т) < 一 Q. 
D? У оо! к) к № e2? D2 


TÆ, 林 德 伯 格 条 件 仍然 成 立 , 从 而 中 心 极 限定 理 成 立 . 
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3. 系列 形式 下 的 林 德 们 格 条 件 
注 1 设 $ ES 
Т, = 5, Fr, (2) =Р{Т, < т}. 


那么 , 命题 2 表示 当 n оо 时 , 对 一 切 = є В. 
Fr, (т) 一 Ф( т). 
由 于 B(x) 是 连续 函数 , 则 这 里 实际 上 是 一 致 收敛 (81 练习 题 5): 


sup |, (1) — Ф(х)| — 0, п — оо. | (14) 
TER 


特别 , 由 此 可 见 
Р{5, < 2} – Ф (э) 一 0, п — со. 


这 一 结论 可 以 用 语言 表示 为 : 对 于 充分 大 的 n, 随机 变量 5, 大 致 服从 均值 为 Е, 和 
方差 为 D2 = DS, WESS A. 

注 2 由 于 根据 注 1, 当 一 оо 时 关于 z Ж: Ег (т) э Ф(х), 自然 提出 
RF (14) 式 的 收敛 速度 的 问题 . 在 61,22... 独立 同 分 布 且 Е: < oo 的 情形 下 ， 
贝 里 - ЖЖ (А. С. Berry - С. С. Esseen) 定理 (KFA) (511) 提供 了 该 问题 的 答案 : 


sup |Fr, (a) — 60) < СЁ БӘТ, (15) 


其 中 C 是 任意 常数 , 其 具体 值 至 今 未 知 .( 在 [90] 的 第 五 章 543 用 不 等 式 估 计 了 该 常 
数 : 1/V2r < С < 0.7655.) 

在 811 将 给 出 (15) 式 的 证 明 . 

注 3 现在 赋予 林 德 伯 格 条 件 略 有 不 同 (甚至 是 更 为 紧凑 ) 的 形式 , 特别 方便 用 
于 极限 定理 的 “系列 形式 ”. 

Я &1,22,... 是 独立 随机 变量 序列 ， 

Mk = ЕСЕ, ор = Оё, р? == У оу > 0(п > 1), Enk = кта 

k=1 


考虑 到 这 些 记号 , 林 德 伯 格 条 件 (1) 现在 具有 如 下 形式 : 


(L) S E{é2.1(énk| > =)} — 0,n оо. (16) 


如 果 Sn 一 Enl 十 … 十 Enn, ДІ] 05, = 1, 而 定理 1 可 以 赋予 这 样 的 形式 : 大 满足 条 件 
(16), 则 

Sn < N(0,1). 
在 这 种 形式 下 , 中 心 极限 定理 不 需要 假设 随机 变量 En 具有 (& mw)/ Dn 的 特殊 形 
A. 具体 地 说 , 用 定理 1 的 证 明 方 法 , 可 以 证 明 如 下 结果 : 
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定理 2 设 对 于 每 一 个 nn 之 1 
Ent, бп2, `` ,Enn 
是 独立 随机 变量 序列 , В. Еб = 0,DSn =1, 其 中 Sn = ё ++ Enn. 
ЖА, 林 德 伯 格 条 件 (16) ЖА 5, S N(0,1) 的 充分 条 件 
4. 林 德 伯 格 条 件 的 必要 性 ”由 于 


n 


ах Е, < 2 + у ВЕ, (Enl > =], 


15 
n k=1 


则 由 林 德 伯 格 条 件 (16), 可 见 


ах ЕЁ, 一 0,n 一 оо. (17) 


ел 
很 出 色 的 是 , 在 条 件 (17) F, 由 中 心 极限 定理 成 立 , 就 可 以 自然 得 出 林 德 伯 格 条 件 成 
PAOA 
定理 3 设 对 于 每 一 个 n 之 1， 


En1, по, rr , Enn 


是 独立 随机 变量 序列 , Н. ЕС, = 0,05, =1, 其 中 Sn = ёа ttin 假设 满足 条 
件 (17). ЖА, 对 于 中 心 极限 定理 5, 一 N(0,1) 的 成 立 , 林 德 伯 格 条 件 充分 而 且 必 
+. | 
由 定理 2 立即 得 充分 性 . 为 证 明 其 必要 性 , 需要 下 面 的 引 理 (对 照 83 的 引 理 3). 
ПЕ 设 随 机 变量 & 的 分 布 函 数 和 数字 特征 为 F = F(x), mE EE = 0,DE = 
у > 0. Я А, 对 于 每 一 个 a > 0, 


| аар (а) < 二 Ref(V6o) — 1 + 3102) (18) 
|а| >21/а а 
其 中 f(t) = Ее Ж E 的 特征 函数 . 
证 明 有 
Ref(t)—1+ > = УР 一 Г. (1 — созіт)ағ(х) 


1 
= yf? — ] а — costz)dF (z) 一 J (1 — costz )dF (x) 
2 || <1/ |5|21/а 


1 1 
> 二 yt 一 taf Z2dF(z) — 2а? f т°аЕ(т) 
2 2 [5|<1/а [| >1/а 


= (52 一 2a) ] х°аЁЕ(х). 
2 12|>21/а 


DRAF (17) 称 敌 “均匀 小 条 件 ”. 在 均匀 小 条 件 下 , 林 德 伯 格 条 件 是 独立 随机 变量 序列 服从 中 心 
极限 定理 的 充分 和 必要 条 件 . — В 


$4. 独立 随机 变量 之 和 的 中 心 极限 定理 1. 林 德 伯 格 条 件 


$ += V6a, 得 所 要 证 明 的 (18) =. 
证 明定 理 3 的 必要 性 设 


Елк(т) — Р {#4 < х}, fnk(t) — Бек, 
Еблк = 0 , Dnk 一 Ynk > 0, 


2 = 1, п max x Ynk — 0, n 一 сю. 


以 jn z 表示 复数 z 之 对 数 的 主 值 (BH Inz = ш |2] +iargz =r < argz < п). 


ЖА, 
In [|00 = У шк (6) + 2rim, 


其 中 т = min, t) 是 某 个 整数 . 从 而 ， 


Re jn П fnk(t) = Rey、 ln к). 


к= 1 К=1 
由 于 „ 
П 50 > ес", 
k=1 
й 
] 20 >e 2? 
k=1 
因而 
Веш | | fnk(t) = Веш П fnk(t) 一 -5 
к=1 k=1 
对 于 |z| <1, 
2 3 
ш(1+2) =z 一 可 十 可 一 …， 
而 对 于 |z| < 1/2, 


(1+2) — z| < |02. 


于 (19) R, 对 于 每 个 固定 的 t, 所 有 充分 大 的 n 和 一 切 = 1,2,… 


|fnxlt) 1] < акі? < < 1 


2 
因此 , 由 (23) 和 (24) 两 式 , 可 见 当 п 一 oo 时 


иШ + (Һк@) — 1] (00) —1)}| < У Мк – 12 


k=1 k=1 


<= г шах так x Sru = а teken К° =o, 
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(19) 


(20) 


(21) 


(22) 


(23) 


(24) 
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从 而 


— 0,n 一 оо. (25) 


ReX 1n fnk(t) – Re X [Льк(® — 1] 


k=1 k=1 


由 (20),(21) 和 (25) 式 , 可 见 


n La n | 1. 
Ке) Пл 1] + 51 一 2. вед) і + 51 | > 0,п — оо. 


设 t = уба, 对 于 每 一 个 a > 0, 有 


>_[Refnr(V6a) — 1 + За? уль] 一 0,n — оо. (26) 
k=1 | 


最 后 , 由 (18) Å (其 中 设 a = 1/=) 和 (26) 式 , 得 


т 


УВЕ, Е > 6)] = У) ] а?аз) 


Tt 
< Е? У [Век (Уба) — 1+ За тк] — 0, n 一 со. 
k=1 


于 是 , 满足 林 德 伯 格 条 件 得 证 . 口 
5. 练习 题 
1. 假设 &1,&,... 是 独立 同 分 布 随机 变量 序列 , В EE < оо, 证 明 , “и — со 


М, 有 
тах ( 21...81) 4, 
ей) 0 
2. 对 于 伯 努 利 概 型, 直接 证 明 , 当 n —› со 时 


sup Рт, (2) — Ф(2)| 
的 数量 级 为 1/ Vin. 


3. B Xi, XX2,… 是 独立 可 交换 (顺序 的 ) 随机 变量 序列 ( 见 第 二 章 85 练习 题 
4), В. ЕХ; =0,ЕХ? =1, H 


соу(Х1, X2) = cov( X7, Х2). (27) 
证 明 , 中 心 极限 定理 成 立 : 
万 > Xi $ N(0,1). (28) 


$=1 


相反 , WR EX? < оо H. (28) 式 成 立 , 则 (27) 式 也 成 立 . 


54. 独立 随机 变量 之 和 的 中 心 极 限定 理 1. 林 德 伯 格 条 件 367. 


4， 局 部 中 心 极限 定理 ， 设 Ху, X, 是 独立 同 分 布 随 机 变量 , 而且 ЕХ, = 
0,ЕХ2 = 1. 假设 其 特征 函数 yt) = Бе“: 具有 性 质 : 对 于 某 个 + > 1, 有 


Г. (t| dt < оо. 
证 明 , 随机 变量 5, /Vn 的 概率 分 布 密度 fna) FE, 且 关 于 x € RR 一 致 , 有 


-2 
Р(х) 一 (2n) зе ,no0. 


问 相 应 的 结果 对 于 格 后 随机 变量 如 何 ? 

5. B ХІ, Х2,... 是 独 芯 同 分 布 随机 变量 , H ЕХ; = 0,BX =1. 假设 d?,d3,… 
是 非 负 常 数 满足 : dn = о(р,), 其 中 D2 = Y} d. 证 明 加 权 变 量 di Xi, dX,- 
序列 服从 中 心 极限 定理 : 


Ух * 2 №(0,1), п ою. 
n k=l 
б. М &\,&,--- 是 独立 同 分 布 随机 变量 , Н ЕЕ, = 0, EE? = 1. 假设 {и 
是 在 集合 {1,2,...} 中 取 值 的 随机 变量 , Н m/n 二 с 其 中 c > 0 是 常数 .证 明 
(9 = бу 十 … 十 En 
Там (т И25,) — Ф, 
即 т.1725, S 6 > N(0,1).( 注 意 , 这 里 并 没有 假设 序列 {т> 以 及 (ен: 独 
Z.) 
7. 设 6,c… 是 独立 同 分 布 随机 变量 , Н Eg = 0, E£ = 1. 证 明 


Law(n И? max Sm) — Law(|é|), 
ISMN | 


其 中 上 ~ М0, 1). 换 句 话说 , 对 于 x > 0, 证 明 


一 一 $ = — 
Ри, me) yS a et 让 


提示 : 首先 对 于 对 称 伯 努 利 随机 变量 С\,&,.--:Р{&„ = +1} = 1/2, 证 明 所 提出 
的 命题 , 然后 证 明 对 于 任意 满足 Бе, = 0,62 = 1 的 独立 同 分 布 随 机 变量 с, éo, 
有 同样 的 极限 分 布 . (这 里 极限 分 布 的 形状 , 不 依赖 于 “具有 ЕЕ, = 0, ЕЕ? = 1 的 独 
立 同 分 布 随机 变量 和 ,和 6, ”的 具体 选择 , 并 称 做 “不 变 原理 ”; 对 照 87.) 

8. 在 上 题 的 条 件 下 . 证 明 


Р{п-1/? шах |Sm| < £} — Н(х),х > 0, 
15% т<лп 


其 中 


4 二 (--1)* (2k + 1)°т? 


— 
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9. 设 Xi Xon 是 独立 随机 变量 序列 , Н 


1 
Р{Х„ = Hna} = P{Xn =0} =1- =, 


т 


其 中 2a > В – 1. 证 明 林 德 伯 格 条 件 成 立 当 且 仅 当 0 < 6<1. 
10. & Xi, X2,… 是 独立 随机 变量 序列 , |Х„| < С„(Р — а.с.), 而 C = о(Юь), 
其 中 | 
= 》 E(X, - ЕХ»)? > оо. 
k=1 
证 明 


Sn — EES, 


л 


11. 设 Xi, X2, 是 独立 随机 变量 序列 , Н ЕХ, = 0, EX2 = o2. 假设 {Х„}һ>1 
服从 中 心 极限 定理 , 而 且 对 于 茶 个 > 1, 有 


—1/2 _, (2k)! 
e (D; Sx) - Ikkl 


证 明 k 阶 林 德 伯 格 条 件 成 立 , ВП 


т 
/ |к|#аЁ,(х) = о(РЁ)\,є > 0. 
{12| >=} 


(普通 的 林 德 伯 格 条 件 , 对 应 于 大 2 的 情形 ; М, (1) R.) 
12. w X = Х(А) МУ =Y (u) 是 参数 相应 为 入 > 0 和 />0 的 独立 泊 松 随机 
变量 . 证 明 当 入 一 сю, и 一 oo 时 


КАМ мо р), 
ХА) + Ү(и) | 


13. 设 对 于 n >1,п-+1 维 随机 向 量 (XO, Хх) 在 单位 球面 上 均匀 分 布 . 
证 明 下 面 的 庞 加 菜 (J. Н. Poincaré) 定理 成 立 : 


| (п) 1 [а 
lim Р{утХ у < 2} = zj. 


85. 独立 随机 变量 之 和 的 中 心 极限 定理 П. 非 经 典 条 件 


1. 在 非 经 典 条 件 下 中 心 极限 定理 的 例 在 54 曾经 证 明 , 由 林 德 伯 格 条 件 (16) 


引出 条 件 


Е 
Sken z nk >0 


65. 独立 随机 变量 之 和 的 中 心 极限 定理 п. 非 经 典 条 件 . 369 - 


成 立 , 而 由 此 可 得 所 谓 极限 可 忽略 性 条 件 (人 亦 称 渐 近 小 性 条 件 ), 指 的 是 : 对 于 任意 


Е>0, 8 


> 
шах P{léne| > €} > 0,n 一 0 


这 样 , 可 以 说 , 84 中 的 定理 1 和 2 在 极限 可 忽略 性 的 条 件 下 , 给 出 了 独立 同 分 
布 随 机 变量 之 和 服从 中 心 极限 定理 的 条 件 . 在 各 被 加 项 满足 极限 可 忽略 性 条 件 的 假 
设 下 , 极限 定理 习惯 上 称 做 “经 典 提 法 ”的 定理 . 然而 , 不 难 举 出 非 退化 随机 变量 , 在 
既 不 满足 林 德 伯 格 条 件 , 也 不 满足 极限 可 和 忽略 性 条 件 的 情况 下 , 仍然 服从 中 心 极限 
定理 的 例子 . 

假设 &1,&2,:.- 是 独立 正 态 分 布 的 随机 变量 序列 , В ЕЕ, = 0,0, = 1,Dé = 
28720622. М Sn = En +... НЕ, 其 中 

Ek 


Enk — 一 ， 
(б 
¿=I 


不 难 验 证 , 这 里 无 论 是 林 德 伯 格 条 件 , 还 是 极限 可 和 忽略 性 条 件 都 不 满足 然而, 由 于 
Sn FARRA Е, = 0,05, =1 HESS A, 所 以 中 心 极限 定理 显然 成 立 . 

在 不 假设 “经 典 的 ”极限 可 忽略 性 条 件 下 , 下 面 的 定理 1 将 要 给 出 中 心 极 限定 
理 成 立 的 充分 (和 必要 ) 条 件 . 在 此 意义 下 , 下 面 提 出 的 条 件 (А) 正 是 55 ИМЕНИЯ 
RAJATI SEAR” RAF. 

2. “ 非 经 典 ” 条 件 与 林 德 伯 格 条 件 的 联系 ”假设 对 于 每 个 n > 1, (“АЯ 
形式 ”的 ) 独立 随机 变量 序列 : 


Спі, 6п2, ``, Ёпт, 
Н Eén = 0,О& = onp > 0,5810 = 1. B Sn = Eni +... + Enn, Pok(z) = 


Р <}, | 
А Dla) = -z | етар) = 5 (=). 


定理 1 随机 变量 和 
San & №(0, 1) (1) 


的 充分 (和 必要 ) RHR, 对 于 每 个 = 0, 
(A) з ИІ Еб) — Ф (2) > 0,» — оо. (2) 
|[> 
下 一 沾 定理 说 明 TRF (А) 与 经 典 林 德 伯 格 条 件 


(L) >>] | т?аЕ, (х) 一 0,n — оо. (3) 
К=1 T|>E 


之 间 的 联系 . 
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定理 2 1. 林 德 伯 格 条 件 保 障 条 件 (A) 成 立 : 


(L) = (А). 
2. 如 果 当 nn 一 оо ff, 
тах Её б, 
则 条 件 (Л) 保障 林 德 伯 格 条 件 (L) 成 立 : 
(А) = (Ш). 


定理 1 的 证 明 . 证 明 条 件 (Л) 的 必要 性 相当 复杂 ([88],[91|,[96]). 我 们 在 这 里 仅 
证 明 条 件 (А) 的 充分 性 . 
设 
fnk(t) = Ее вт», falt) = Ее", 
р) = | dbnl), += [| eaaa) 


由 第 二 章 512, 可 见 о, 
Фак(0) =e, p(t) =е $. 

根据 53 的 定理 1, Sn ER N(0,1) 当 且 仅 当 对 于 任意 实数 t, fn(t) — y(t), n — оо. 

有 


falt) — plt) = | | Falt) — П Фһк(?) 


к=] к= 1 


HF |/һк(®)| 1, рик (В < 1, TI 


fn(t) — pt) -JII faklt) — [20| < X kb 一 nk 人 
к=1 К=1 
= У К ed(Fnk — Ф.к) = У` ] j (е — Их + E) d(Fak — Фьь)|, (4) 
&=1'° 70 к=1'° 99 
其 中 用 到 Е 
J тає, - | т^АФль. 
对 于 积分 


Ь 
J (е 一 ttr + 2) а( Fnk ~ Фик), 
运用 分 部 积分 公式 (第 二 章 86 定理 11), 得 1211 — Е, (х) + Ек(-т)| 一 0,5 一 


со, т? [1 — Фик (2) + Фик (-х)] — 0,7 一 оо, 


Г. (== — itz + >) d(Fnk — nk) 


= —it J р (е2 —1- itz)(Fnk(£) — Фк (т) ах. (5) 


55. 独立 随机 变量 之 和 的 中 心 极 限定 理 П. 非 经 典 条 件 · 371 . 
由 (4) 和 (5) 式 , 得 
Ш | ter? 

|fn(t) — \<2, Г. (+ ит — йт + >) d( Fnk 一 Фк) 
чт 1 — itx)|[Fak(£) — Фик (т) 4х 

и эз Мб Е (2) — Фик (5) 9х 
+2? у |ж||Ёлһк(хж) — Фик (т)|9х 

к=1 “!®]|>є 


<el S o+] Ее) – Фа) а, (6) 
k=1 k=1" 12126 
其 中 用 到 不 等 式 
а ные) — Soe(aldz < 202, (т) 
其 正确 性 利用 第 二 章 86 的 (71) 式 容易 证 明 . HF e> 0 是 任意 的 , 由 (6) R, 以 及 
FAF (А) ЕЛ, falt) + p(t), n — оо. Г] 


定理 2 的 证 明 . 1. 根据 54, НЖ-4&185%4# 1 (L), 8 шаху<ск<» a2 一 0. ВШ, 
注意 到 кабак = 1, 得 


т, 
у, J х?аФьһк(т) < 
У || > |1%|>=/./ тах Oak 


由 此 式 连同 条 件 (1), 可 见 对 于 任意 es > 0, 有 


5 ] Зао) + Фак) — буп > оо. (9) 
kai У|т|>є& 


т°аФ(х) — 0,n > оо. (8) 


对 于 固定 的 = > 0, 存在 连续 可 微 偶 函数 及 = h(x) : |h(z)| < az? h'(x) < 415, 使 


o |2, Æ |z| > 25, 
Mtz) = Н 车 jz| < 2. 


对 于 这 样 的 函数 h = h(x), 由 (9) 式 , 可 见 
> | #(%)4Е (2) + Фик (zx) — 0, п — оо. (10) 
k=1 |2|>є 

利用 分 部 积分 法 由 (10) 式 , 得 


>]. М(х (2) + [1 Ф (х) ах = У hzjdIF + Ф] — 0, 


人 一 1 TZE 


я, h'(x)[Fnk (1) + Фик (х)|ах = >| h(x)d[Fnx + nk] — 0. 
k=1 “TS-E к=1 У 2<— 
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由 于 当 |e] > 2e 时 № (2) = 2z, 可 见 
> Ка ool) = Sox(o)lde > 0,n > 00 


这 样 , 由 于 => 0 的 任意 性 , 可 见 (Т) = (Л). 
2. 由 于 шаху<к<һ o2, 一 0 和 (8) R, 对 于 上 面 引进 的 函数 h = h(x), 得 


h(r)}d®, (rz) < т?афФ, (х) > 0,n 一 11 
>]... (z) p(z) >] к) > ) 


[%| >= 


其 次 , 由 分 部 积分 法 , 可 见 


> J hzjd[P — Фик 


1 У [РЕ 


һ(т)а|( 1 一 Рик) — (1 — Фик) 


ке Л _ Ма! Fnk 一 Ф.к] 
< 3 E (На — Far) — (1 — Фа уе + > Jo (ll — Фа 
сау; ҮН Е (к) — Ф„к(х)|йт. | (12) 
由 (11) 和 (12) 式 , 可 见 


т? 一 一 
Уј = АЁРик (т) <>... һ(тх)аЁль(т) — 0, п > оо. 
即 宁德 伯 格 条 件 (Г.) 成 立 . O 

з. 练习 题 

1. 证 明 (5) 式 . 

2. 验证 关系 式 (10) 和 (12). 

3. 假设 М = (№), ьо 是 在 第 二 章 89 的 第 4 小 节 中 引进 的 更 新 过 程 ，N, = 
n= (Tn < 0), Т = 01 十 … 十 on, 其 中 oo 是 独立 同 分 布 正 随 机 变量 序列 
假设 и = Eci < оо,0 < Ба! < оо, 证 明 中 心 极限 定理 成 立 . 


№, 一 tu-! 


Мн Зо, 
其 中 N(0,1) 表示 均值 为 0 而 方差 为 1 的 标准 正 态 分 布 随机 变量 . 


$, №(0,1), 


$6 无 限 可 分 分 布 和 稳定 分 布 · 373 . 


66. 无 限 可 分 分 布 和 稳定 分 布 


1. 在 非 经典 条 件 下 中 心 极限 定理 的 例 在 83 曾经 指出 , 为 表述 泊 松 分 布 , 不 得 
不 考虑 系列 形式 : 对 于 每 个 n> 1, 给 定 随机 变量 序列 (En) 1k <n. 
你 | | | 
Ta = Eni + inm nl. (1) 


无 限 可 分 分 布 概念 的 产生 , 与 下 面 的 问题 相 联系 : 如 何 描述 “可 以 作为 随机 变量 
序列 {ahna 的 极限 分 布 ”的 某 些 分 布 ? 

一 般 讲 , 像 问题 的 如 此 这 般 的 提 法 , 极限 分 布 可 以 是 任意 的 . 事实 上 , 假如 & 是 
某 一 随机 变量 , 而 Eni = E, En = 0(1 < К < п), M Т, 二 6, 从 而 极限 分 布 就 是 & 的 
分 布 , 即 分 布 可 以 是 任意 的 . 

为 使 极限 分 布 问 题 更 富有 内 容 , 我 们 在 这 一 节 将 处 处 假设 , 对 于 每 个 n> 1, 随 
机 变量 ini ,énn 不 仅 独立 而 且 同 分 布 . 

注意 , 泊 松 定理 ($3 定理 4) 的 情况 正 是 这 样 . 独立 同 分 布 随机 变量 &1,&2,… 之 
和 Sn = & +... + (п > 1) 的 中 心 极限 定理 (83 定理 3) 就 属于 这 种 情形 . 实际 上 ， 
如 果 设 

Ene = ИА, D = DS,, 


则 


一 Sn- ES 
Tr 一 У ёк — 一 六 一 
k= n 


这 样 , ЕЖА, 可 以 视 为 系列 形式 的 极限 分 布 . 如 果 T ST, WE 
观 上 容易 理解 , 由 于 т, 是 独立 间 分 布 随机 变量 之 和 , 则 极限 随机 变量 Т 也 应 该 在 
同样 的 意义 上 是 独立 同 分 布 随机 变量 之 和 . 因此 . 引出 如 下 定义 . 

定义 1 随机 变量 了 (及 其 分 布 函数 Fr 和 特征 函数 or) 称 做 无 限 可 分 的 , 如 
果 对 于 每 个 n > 1, 在 概率 空间 (QF, P) 上 存在 独立 同 分 布 随机 变量 п... ‚л. 
使 9) т 三 т 十 … 十 ?mm (或 同样 地 使 , Fr = Fp *...* Е, В от = (рь )"). 

注 1 如 果 随 机 变量 Т 定义 的 原 概 率 空间 是 充分 “贫乏 的 ”, 可 能 出 现下 面 的 
情况 : 对 于 任意 n > 1, 对 于 某 些 分 布 函 数 Ро 及 其 特征 函数 o, УЖЕ, 
及 其 特征 函数 от 可 以 表现 为 Fr = Е ж... РО) (п К) 和 от = (рп, 然而 
АТ 三 m+ tmn 不 可 能 . 恰好 有 “贫乏 ”概率 空间 的 一 个 例子 属于 杜 布 
(J. L. Doob; М, [103]): 在 此 概率 空间 上 有 一 参数 为 A = 1 的 泊 松 分 布 随机 变量 ( 它 
是 无 限 可 分 的 : Fr = F® ж... РО), Еф КО) 是 对 应 于 参数 为 和 = 1/n 的 泊 松 分 
布 的 分 布 函数 ), 但 是 不 存在 参数 为 和 = 1/2 的 泊 松 分 布 的 随机 变量 m 和 m. 


O ORB eE p RIIE е ЯП) 依 分 布 相等 (相合 ), Ш Fila) = Fyle), 其 中 Ру (т) 和 F(z) 
是 上 和 7 的 分 布 函数 . 
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考虑 到 以 上 的 结果 , 需要 强调 , 上 和 面 的 定义 1 实质 上 不 明显 地 假设 , 原 概率 空间 
己 经 充分 “丰富 ”. 为 避 开 杜 布 所 指出 的 缺陷 (练习 题 11), 原 概率 空间 已 经 足够 “ 贫 
>». 

定理 1 随机 变量 了 可 以 是 和 人 = уу Enk 的 依 分 布 收敛 的 极限 ， 当 且 仅 
当 T 无 限 可 分 | 

о Eaa, 
En,n, 使 T са Sn 1 ... + бал, БП Г £ Inn 2 1. 

相反 , 假设 Т, O Т. 我 们 现在 证 明 了 无 限 可 分 , 即 对 于 每 个 上 > 1, 存在 独立 同 
分 布 随机 变量 п, ,mx, Т ++ т. 

固定 某 个 k21, 并 将 变量 п у бак 表示 为 СЕ + +0, АР 


CD 一 各 


НТ, а, T,n 一 оо, 可 见 随机 变量 Taen > 1 的 分 布 函 数 序列 相对 列 紧 ; 故 根 据 
普罗 霍 罗 夫 定 理 知 , 随机 变量 Тк, п > 1 的 分 布 函数 序列 稠密 (82). 其 次 , 有 


[Р{( > 2) = РД > z, >р Р{Т > kz} 
和 
[P{1C < 一 2 二 PC < С < ор < РТ, < ка}. 


由 这 两 个 不 等 式 和 Tan > 工 的 分 布 族 的 稠密 性 , 可 见 СД”, > 工 的 分 布 族 的 稠密 
Ж. 因此 , 存在 子 序列 {n;i} c {n} ЖШ ЖЕЕ (mMm, пк), 而 不 失 普 遍 性 可 以 认为 ， 
ENER (“Ба”) 概率 空间 上 , FH 


d 
(G 7 ‚Се ~> (771,7: | Nk)» 
或 者 等 价 地 ， 对 于 任意 入 1,.… ЛЕВ Я 
Ее (Азер, + -十 入 上 © ) _, Eelim + tàn) 


由 随机 变量 G, OE 独立 , 可 见 


(111... (А) (1) (А | 
Bett Se; + 十 和 类 Gn ) — Ее?^1°*, ... Ее Акс, о Ее ^п aa’ Eet ， 


Вр 


(А +++ Ак} — ФА TARNA 
Ее“ 1771 ^^) — Ее 171... Ee ЕЕ, 


向 由 第 二 章 $12 定理 4 知 随机 变量 n, ,mn 独立 . 同样 显然 , 它们 有 相同 的 分 布 . 
此 外 ， 
Гак 一 С + + CGH) < ИН, 
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НВ, E Tae 号 т. 于 是 (练习 题 1), 得 
T&mt т. E 


+2 如 果 将 这 一 节 开 始 的 条 件 : 对 于 每 个 n > 1, 随机 变量 éni inn 同 分 
布 , 换 成 它们 满足 渐 近 小 тахуск<» Р{|&һк| > =} = 0 的 条 件 , 则 定理 的 结论 仍然 成 
IL. 

2. 随机 变量 无 限 可 分 的 充分 和 必要 条 件 ”为 验证 给 定 的 随机 变量 了 是 否 无 限 
可 分 , 最 简单 的 是 考察 其 特征 函数 ot) 的 形式 . 如 果 对 于 每 个 п > 1, 存在 这 样 的 特 
TERR p(t), 使 p(t) = [р (2)]", W T ERTI. 

对 于 高 斯 分 布 的 情形 ， 


#2 2 


p(t) = ейте- 2°, 


ФТ | 
pn(t) = ей е- m 
则 (В) = [фл(#)|". 
对 于 泊 松 分 布 的 情形 ， 
p(t) — exA(e “一 1) | 
者 设 
pn(t) = er(te —1), 
则 (t) = [en 人 的 | 
如 果 随 机 变量 了 服从 工分 布 , 其 密度 为 
rele $ 
Tray5a ’ Ж roO, 
0, Ж т< 0, 


Хх) = 


№] (第 二 章 512 表 2 - 5) 其 特征 函数 等 于 


1 
= пе 


从 而 , olt) = р", 其 中 | 


pnlt) = а тёйоўп' 

说 明 了 无 限 可 分 . 
我 们 (不 加 证 明 ) 引进 如 下 关于 “无 限 可 分 分 布 的 特征 函数 一 般 形式 ”的 一 般 结 
R, | 
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定理 2 (УКЖ - 列 维 - +) ”随机 变量 工 ARTI, 当 且 仅 当 其 特 
Ез Ж А-В ЈЕ А, p(t) = ехруу(Ф), 其 中 


vozi- [7 (e -1 - г) + 
而 PER, o? >0,А Ж (Е,.©(Е)) 上 的 有 限 测度 , Н 和 (0) = 
Еп. 假设 存在 这 样 的 常数 bnan > 0 和 随机 变量 Т, 使 


ат (3) 


), (2) 


An 


АН 19 0 (3) 式 中 随机 变量 T 的 全 部 可 能 的 极限 分 布 ? 
如 果 对 于 独立 同 分 布 随机 变量 E1, E2, -, A 0 < в? = Dé, < оо, 并且 设 = 
nEé&i Ш an = сут, 则 由 $4 可 见 , 随机 变量 了 服从 标准 正 态 分 布 N(0, 1). 


ДЖ 
Ө 


> тозй) 
是 参数 为 6 > 0 的 柯 西 分 布 密度 , 而 61,2, -. 是 密度 为 f(zx) 的 独立 随机 变量 , 则 其 
特征 函数 为 ре, (Е) = e-k 而 


psa /nlt) = (= м). =е 1, 


因此 随机 变量 5, /п 服从 柯 西 分 布 (分 布 参数 仍然 是 0). 
这 样 , 作为 极限 分 布 , 除了 正 态 分 布 之 外 , 还 可 能 有 其 他 分 布 (例如 柯 西 分 布 ) 
24 
nat узе = (Th), 其 中 бак = 2Ё — =, 1<К<п. 


于 是 , 对 于 Т, 一 切 可 以 意料 到 的 , 可 以 作为 极限 分 布 (3) 式 出 现 的 分 布 (根据 定理 
1) 一 定 是 无 限 可 分 分 布 . 不 过 所 考虑 的 随机 变量 Т, = (Sn — Б.) Га, 的 特点 , 为 这 里 
可 能 出 现 的 极限 分 布 的 结构 , 可 能 提供 了 得 到 补充 信息 . 

为 此 (并 考虑 到 注 1), 我 们 引进 如 下 概念 . 

定义 2 随机 变量 了 (及 其 分 布 函数 F) 和 特征 函数 ot) 称 做 稳定 的 ,如 
果 对 于 任何 n > 1, 存在 这 样 的 常数 с, > ов 15 T 同 分 布 的 独立 随机 变量 
Eiee En IE 

anT + bn == & tH ên, (4) 


或 同样 地 
p (Z) вка) 或 Jolt)” = (ав. (5) 
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定理 3 随机 变量 人 可 以 是 随机 变量 
Sn — bn 
ün 
№ АНИ, 当 且 仅 当 了 是 稳定 的 . 
证 明 如 果 了 人 是 稳定 的 , 则 根据 (4) А 
Sn — bn 从 而 2.0" Sn — Dn d 


An ад 


‚ав > 0, 


Т 2 “пп $, T, 


其 中 5 = Фр +... En. 
相反 , 假设 &1, 22... 是 独 芯 同 分 布 的 随机 变量 序列 , 5% = & +. +6, В. 
Sn — bn 


ад 


d 
— T, ân >00. 


现在 证 明了 是 稳定 随机 变量 . 

假如 是 退化 随机 变量 , 则 它 显 然 是 稳定 的 . 因此 , 我 们 将 假设 T 是 非 退 化 随 
机 变量 . 

АЕ k21, 记 


1 k 
一 和 十 十 名 „909 = кул + -- ка, 


(1) (k) 
Ta) — moon., mlk) _ з 一 on 
n an + а, 


显然 , 所 有 随机 变量 TTP, Т 都 同 分 布 , Н. 
TO $T, n> оо, = 1,- К. 
记 
UP = т) р... T, 
那么 , 同 定理 1 的 证 明 一 样 , 可 得 


Uk) 4, Та) +... фт), 


其 中 TON <: < к) Жи, Н ТО) 二 .二 TD 二 了 
太一 方面 ， 


Г) 1+ бп — kon 
п 


= Sen (ELit Sen вы 4. Pkn — kbn 
ün kn 
= af? Ven + 8), (6) 
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其 中 
a(k) — Окт glk) n Cen — Kon 
аһ ал 
Ш + b 
y, ELH hn вы 
акт 
由 (6) 式 可 见 | 
(k) об 
„ШО -ø 


aP ' 
其 中 и, S ТО SS ТО р... фт) п оо. 


由 下 面 的 引 理 知 , 存在 常数 009 > 0 和 В, 使 < — о, gO — BO, n > оо, 


而 
på T(D +... + ТӘ — в® 
су\®) | 


从 而 , 随机 变量 了 的 稳定 性 得 证 . о 
1 Е БЕНАА ЖЖ > 0 和 让 ,使 


а —„ 
Qnén + бп 一 С, 


而 且 E fo E 者 是非 退化 随机 变量 . 那么 , 存在 常数 a > 0 җе Ь, 4 liman = а, шаб, = b 
Н. 
EŻ aE +b. 


证 明 设 po Ж Ф 相应 为 En E с 的 特征 函数 .那么 , ann ton 的 特征 函 
数 po a+b,(t) 等 于 еб", (аъ). 根据 定理 1 的 系 , 以 及 53 的 练习 题 3, 有 


е?" Фи (@тф) 一 P(t), (7) 
pn(t) — p(t), (8) 


其 中 收敛 性 为 在 t 的 每 一 变化 区 间 上 一 致 收敛 . 
设 {ns} 是 使 an, 一 a 的 {п} 的 子 序列 . 我 们 首先 证 明 a < со. 假设 а = оо. 由 
(7) IRPJ I, 对 于 任意 с> 0, 


sup фи (атй) — IPH] — 0, n — оо. 


将 t 换 成 tni — to/an.. ЖА, 由 于 ûn; —> а = оо, RJ №, 
Фп; ün; 一 一 =P | 一 一 
ün; ат; 


Фп, (to)| — 12(0)| = 1. 


— 0, 


因而 
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然而 |pn;(to)| 一 lelto. 因为 对 于 任意 如 ЕВ, lelto) = 1, 故 根据 第 二 章 512 定理 
5, 随机 变量 应 该 是 退化 的 , 而 这 与 引 理 的 假设 矛盾 . 

这 样 a < оо. 现在 假设 存在 两 个 子 序列 {n} 和 {т}, 使 ou > а, а, 一 а’, 其 
Жаза (为 确定 性 , 5 0 <а <a). ЖА, (7) 和 (8) А НИ, 


Фп, (an:t)| — (ай) |, (Pn: (ал,Ё)| — (P) 


和 
(Pn: (а, 一 |2(a t), (Pn: (ат )| — (P). 
故 
|42(а#)| = |P(a 1], 


Am, 对 于 任意 ЄК, 有 


0 


因此 |2(#)| = 1, 而 根据 第 二 章 812 定理 5, 由 此 可 见 Е 是 退化 随机 变量 . 所 产生 的 矛 
盾 说 明 a = а’, 而 这 表明 存在 有 限 极限 limay = а, 并 且 a žo. 

现在 证 明 , 存在 极限 limb, =b, Ж Н a > 0. 由 于 (8) 式 在 每 个 有 限 区 间 上 一 致 
成 立 , 故 

Pn(ant) 一 plat). 

因而 , 由 于 (7) 式 可 见 , 对 于 所 有 使 y(at) #0 的 t, 存在 极限 lim, ей >. 设 5 > 0, 使 
得 对 于 一 切 iti <ô, 有 plat) #0. ЖА, 对 于 这 样 的 t, 存在 极限 limet’. 由 此 可 见 
(练习 题 9) lim|b,| < оо. 

假设 存在 两 个 子 序列 {т} 和 {л}, 使 limba, = b 和 lim by =}. 那么 , 对 于 
上 < 6, 有 


. . РА 
е 6 — ей 


从 而 b= b. 于 是 , 存在 有 限 极限 limb = b, 而 根据 (7) A, 


P(t) = еб plat), 


说 明 上 三 af +b. НТ ЗБЕ, 可 见 а > 0. 口 
4. 稳定 分 布 特征 函数 的 一 般 形式 ”我 们 现在 (不 加 证 明 ) 给 出 稳定 分 布 特征 函 
数 的 一 般 形式 . 


定理 4 ( 列 维 - ЖШ) ”随机 变量 人 了 是 稳定 的 ， 当 且 仅 当 其 特征 函数 p(t) 
具有 p(t) =expy(t) 的 形式 , 其 中 


V(t) = 48 – ај (1 + 0 с) | (9) 


- 380 - 第 三 章 ”概率 测度 的 接近 程度 和 收敛 性 . 中 心 极限 定理 


ЖФ 0<а<2, ЕВ, 4 >20, |0| < 1, E% t=0 tf t/lt|=0, 


{ап 5 а, ж а 5% 1, 
Со) = + > 10) 
т Іп ||, ж с == 1. 


我 们 指出 , 对 称 稳定 分 布 的 特征 函数 的 结构 特别 简单 : 
plt) =e “1, (11) 


其 中 0<ax<2,d>0. 

5. 练习 题 

1. 证 明 , ДЖ &„ SEM m 5 п, W EE n. 

2. 证 明 , WR pl 和 ро 是 两 个 无 限 可 分 特征 函数 , 则 о, x ws 也 是 无 限 可 分 特 
ТЕ РИ Ж. 

3. Яр 是 两 个 无 限 可 分 特征 函数 , 且 对 于 每 个 te В, pn(t) > p(t), 其 中 y(t) 
是 一 特征 函数 . 证 明 (+) ERTA. 

4. 证 明 , 无 限 可 分 分 布 的 特征 函数 不 等 于 0. 

5. 试 举 一 例 , 随机 变量 是 无 限 可 分 的 , 但 并 不 是 稳定 的 . 

6. R с 是 稳定 随机 变量 , 证明， 对 于 一 切 гс (0,a),0 < a < 2， 数 学 期 望 
ЕСГ < оо. 

7. 证 明 , 如 果 E 是 参数 为 0 < a < 1 的 稳定 随机 变量 , 则 其 特征 函数 y(t) 在 
上 = 0 不 可 微 . 

8. 直接 证 明 , 函数 p(t) = e- 和 ”是 特征 函数 , Е 0<а< 2,420. 

9. 9 {и} >: 是 一 数列 , 满足 条 件 : 对 于 一 切 | < 56 > 0, 极限 im, ett F 
ФЕ. 证 明 і, |6, | < оо. 

10. 证 明 二 项 分 布 和 均匀 分 布 , 都 不 是 无 限 可 分 分 布 . 

11. 假设 分 布 函数 F 及 其 特征 函数 о 可 以 表示 为 : КО) ж... ж Е®(п Ж), р = 
pr, 其 中 РОО 是 某 一 分 布 函数 , 而 pl" (п > 1) 是 其 特征 函数 . 证 明 存 在 (充分 
“丰富 ”的 ) 概率 空间 (О, Р) 和 定义 在 它 上 面 的 随机 变量 T A (у), (п > 1), 
满足 


Т = т ++ 9(п 2 1) 


(Т RADI F, 而 01, --- ,7n 独立 同 服 从 分 布 Е). 
12. 举 一 随机 变量 的 例子 , 使 之 本 身 不 是 无 限 可 分 的 , 然而 其 特征 函数 仍然 不 等 
于 0. 
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$7. PKK “EENE” 


1. 关于 弱 收 敛 的 可 度量 性 (Е, ®, р) 是 度量 空间 , Ш P(E) = {P} 是 (E, 2) 
上 的 概率 测度 族 . 自然 地 提出 问题 : 在 $1 中 所 考虑 的 弱 收 敛 P, №, Р, 是 否 可 以 " 度 
E, 即 是 否 可 以 在 PE) 中 的 两 个 测度 志和 Р E, 引进 这 样 的 距离 SP Р), 使 
收敛 性 5(P,, Р) > 0 与 收敛 性 Р, №, P 等 价 

鉴于 上 面 提出 的 问题 , 有 意 地 指出 , 随机 变量 序列 依 概率 收敛 с, РЕ 可 以 度 
量化 , 例如 , 借助 距离 


4р(5,1) = => 0:P{lé€ -n| 之 e} <=}, 


或 者 , 借助 距离 
|С — n! 

1 十 长 一 中 
(更 一 般 地 , 可 以 设 (ё, п) = Eg(lé — п), 其 中 函数 g(z),z > 0, TURE 0 连续 的 
任意 博 雷 尔 非 负 递增 函数 : 当 x > 0 时 gie) > 0,9(0) = 0, 且 对 于 一 切 x > 0,v > 
0,9(= + у) < 9(2) + 9(у).) 然而 , 对 于 在 (О, P) 上 的 一 切 随机 变量 的 空间 不 存在 
这 样 的 距离 (Е, п), 使 得 当 且 仅 当 2, RIE 1 KAF е (Е, Е) 一 о. (这 很 容易 
证 明 : 只 需 考虑 依 概率 收敛 , 但 是 不 依 概率 1 收敛 的 随机 变量 序列 Enn > 1.) А] 
证 说 , 依 概率 1 收敛 不 可 度量 化 . ( 见 第 二 章 510 中 练习 题 11 和 2 的 命题 .) 

这 一 节 的 目的 , 是 在 指出 度量 (L(P,P) М |Р-Р|*,) 的 同时 , 在 测度 Z(E) 的 
а |а Н, 建立 能 收 敏 的 可 度量 性 : 


4(6, n) = Е тіп(1, |E — n|), 4,17) = Е 


р, D P «ЦР, Р) > 0 |Р, – РБ — 0. (1) 


2. 列 维 -- 普罗 替 罗 夫 度 量 ГР Р) 设 


р(х, А) = шН{р(т,у):уЕ А}, 
А = {x€ Е: р(х, А) <=} AES. 


对 于 任意 两 测度 P,P e P(E), 设 


o(P, P) = inf{e > 0: Р(Е) < Р(Е*) +e, 对 于 一 切 闭 集 F с 多 } (2) 


ІР, Р) = max{o(P, P),o(P, P)}. (3) 


下 面 的 引 理 证 明 , 这 样 定义 的 所 谓 列 维 - 普罗 霍 罗 夫 度量 函数 L(P, P), P,P € 
P(E), 确实 是 度量 . 
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引 理 1 函数 LUPP) 具有 距离 的 性 质 : 

а) L(P, P) = Г(Р,Р)(= o(P, P) = о(Р,Р)), 
b) L(P, P) < L(P, P) + ol(P, P), 

с) L(P, P) = 0, 4 845% P= Р. 

证 明 а) 只 需 证 明 , 对 于 a> 0,8 > 0, 


“Р(Р) < Р(Е°) + 8, IIFAR Ре” (4) 
当 且 仅 当 | 
“Р(Е) < Р(Е°) + в, 对 于 一 切 闭 集 F eg”. (5) 


тж ти. 那么 ,Te 是 开 集 , 则 不 难 验证 了 SG Е\(Е\Т°)°. 如 果 (4) 
ARL, 那么 , 特别 
Р(Е\Т°) < Р((Е\Т°)°) + $, 


从 而 
P(T) < Р(Е\(Е\Т°)°) < Р(Т®) + в, 


因此 , 说 明 (4) 和 (5) 两 式 等 价 . 由 此 可 见 
o(P, P) = o(P, P), (6) 


于 是 ， 
L(P, P) = о(Р,Р) = o(P, P) = (Р, P). (7) 


b) 设 L(P, Ê) < ô, L(Ê, Р) < 62. ЖА, 对 于 每 一 个 闭 集 cg, 有 
Р(Е) < Р(Е?) + 6 < Р((Е82)51) + 61 + б < Р(Е®%+®% + бу + бо, 
于 是 ,L(P, P) < 61 + 5. 由 此 可 见 
L(P, P) < L(P, P) + L(P, Р). 
с) ШЖ L(P, P) = 0, ЖА, 对 于 每 一 个 闭 集 cg 和 任意 a > 0, 有 
Р(Р) < Р(Е®) + | (8) 


由 于 Fa | Fa | 0, 则 由 (8) 式 当 а | О 时 求 极限 , 得 Р(Е) < PIF); 由 对 称 性 ， 
有 Р(Р) < Р(Е). 这样, Р F cg,  Р(Р) = PF). 对 于 每 一 个 博 雷 尔 
集 4<& 和 任意 => 0, 存在 这 样 的 开 集 С. 2 AMAR FC А, Н Р(С.\Е.) < =. 
由 此 可 见 , 度量 空间 (Eg, р) 上 的 任何 概率 测度 Р, 完全 决定 于 Р 在 闭 集 上 的 值 . 
从 而 , 由 对 于 一 切 闭 集 Fe 多 , 有 Р(Р) = Р(Е). FE, 对 于 一 切 博 雷 尔 集 4 e 多 有 
Р(А) = P(A). О 
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定理 1 列 维 - 普罗 霍 罗 夫 度量 РР), 可 以 使 弱 收 化 度量 化 : 
L(Pa, P) > 0 Р, >P. (9) 


证 明 (=>). & LPa, P) > 0,п 一 о. ЖА, 对 于 任意 固定 的 闭 集 є 多 AE 
何 с> 0, 根据 (2) 式 和 引 理 1 的 命题 а), 有 


би» (Р) < Р(Е®) + =. | (10) 


在 上 式 中 令 = |0, 得 
limP,(F) < P(F). 


根据 51 的 定理 1, 可 见 | 
~ P, >P. (11) 


(<). ЯХЯ (=) 的 证 明 , 基于 一 系列 深刻 而 有 益 的 事实 , 它 既 进 一 步 揭 示弱 


收敛 本 身 的 内 容 , 又 阑 明 其 构建 方法 和 研究 收敛 “速度 ”的 方法 . 
这 样 , 设 Pa 一 Р. 这 表明 对 于 任意 连续 的 有 界 函 数 f = f(z), 有 


| /(®)Р,„(4) > 上 f(z)P(dz). (12) 


现在 假设 F 是 某 一 等 阶梯 函数 g = 9g(z) 类 (如 果 对 于 一 切 ge€ 多 , 有 р(х, у) < 

б, 则 对 于 任意 а> 0 存在 5 > 0, 使 lg(y) - 9(2)| < =), 使 得 对 于 同一 常数 C > 0,( 对 

于 一 切 хєЕ Жос %)|9(:)| < С. 根据 88 定理 3, 对 于 函数 类 多, 性质 (12) 的 如 
下 条 件 成 立 : 


Pa ® P = sup J g(£)P, (dz) — f g(x)P(dz)| — 0. (13) 
对 于 任意 Acg МЕ 0, (如 同 51 定理 1) 记 
А 
0) [1-9 (14) 
显然 
Ials) < ГА(т) < Iae (£), (15) 
且 


РА (2) — (0) < р(х, A) — ply, A)| < Е 1р(т,у). 
这 样 , 对 于 类 F = {fs (1), АЕ}, 有 (13) з. 因此 ， 


一 0, п 一 оо. (16) 


f 75 (ФР. (dz) — f 14 (=) Р(аз) 
Е Е 


А, = вир 
AES 
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由 此 及 (15) R, 可 见 对 于 任意 财 集 Асе M e>, Ñ 
Р(А®) > / /%(ж)аР > / 12 (т)аР, — А, > Р(А) - An. (17) 
Е Е 
选择 n(e) 使 对 于 一 切 n > nle), В An < є. ЖА, 由 (17) Ñ, HF n z nle), 有 
P(A:)> Р,(А) ~ є. (18) 
由 此 及 定义 (2),(3) 式 可 见 , Ч п > п(=) Н, 有 L(Pa, P) < є. РЖ, 
P, = P > An > 0 > 1(Р,,Р) 一 0. 
定理 (精确 到 (13) 式 的 命题 ) 得 证 . C 


3. 度量 |P- Plh, 以 BL 表示 一 切 连续 有 界 函 数 f = /(х),х є EE 的 集合 ， 
其 中 ИУ = вир„|/(ж)| < оо, 而 且 每 一 个 图 数 f = f(x) 都 满足 利 普 希 茨 条 件 : 


B Ав = Л» + ПА. ВА |. sz 为 范 数 的 空间 BL 是 巴 拿 赫 空间 . 
定义 度量 |P -— Pll, 其 中 


IP- Ры = sup {| ЈР Bl: Iflos <1} (19) 


(可 以 验证 , P- Р, 事实 上 满足 对 于 度量 提出 的 一 切 要 求 ; 练习 题 2.) 
定理 2 ##|Р-Р|“ 可 以 使 弱 收 敛 度量 化 : 


|Р, — Р; 05Р, = Р. 


证 明 由 (13) 式 立 即 得 蕴涵 关系 (=). 为 证 明 (=) 只 需 验证 , EKARREN 
中 , Р, 一 Р 就 是 对 于 任意 有 界 连 续 函 数 f = f(x) 满足 性 质 (12) 式 , 故 只 需 局 限于 
考虑 满足 利 普 希 茨 条 件 的 有 界 函 数 类 . 换 句 话说 , 如 果 能 证 明 下 面 的 结果 ( 引 理 ), 则 
WAARA (>) 将 得 到 证 明 . 

513 2 ka Pa — P 成 立 ， 当 且 仅 当 性 质 (12) 对 于 BL 类 的 任何 函数 
f = Ј(2) Жж. 

A 引 理 的 一 个 方面 的 证 明显 然 . 现在 考虑 由 (14) 式 定义 的 函数 /5 = у (т). 
在 证 明定 理 1 时 已 经 证 明 , 对 于 任意 > 0,97° = {/&(х),А с #үс Вг. Ч 
在 分 析 $1 的 定理 1 НА (D> KWEH, 就 会 发 现 , 在 证 明 中 实际 上 并 非 
对 于 一 切 有 界 连续 函数 用 到 性 质 (12), 而 只 对 于 类 (Е > 0) 中 的 函数 用 到 由 于 
Я CB1L,s>0, 则 显然 由 性 质 (12) 对 于 类 BL 中 的 函数 成 立 , 可 见 $1 定理 1 Hé 
П 的 结论 成 立 , 而 后 者 (仍然 因为 51 定理 1) ЗЕК Р, =, Р. 口 
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Ж. 定理 2 的 结论 可 以 由 定理 1 推出 (反之 也 一 样 ), 假如 利用 (对 于 可 分 度量 
空间 (Е, ®, р) RLH) LP, P) Ж |Р Р, 之 间 的 如 下 不 等 式 : 


IP – РБ. < 2L(P, P), (20) 
(21) 


22 


P(L(P,P)) < |P - Рв, Ж gle) = =. 


注意 到 , 对 于 x > 0,0 < р(х) < 2/3, МНХ г<1 НҒ 0 <z <1, ф(х) > 
222/3; 由 (20) 和 (21) 式 , Ч М: 如 果 L(P, P) < 1 或 |Р-Р|]*, < 2/3, 则 


S12(P,B) < |Р — Бүр, < 2P, Р). (22) 


4， 练 习题 

1. 证 明 , 4 Е = В 时 概率 分 布 P 和 PP 之 间 的 列 维 - 普罗 霍 罗 夫 度 量 CUP Р), 
不 小 于 对 应 于 Р 和 Р 的 分 布 函数 ЕЖЕ 之 间 的 列 维 距离 LF, F) ( 见 81 练习 题 
4). 举例 说 明 这 些 度量 间 的 严格 不 等 式 成 立 . 

2. 证 明 公式 (19) 在 决定 空间 BL 中 的 度量 . 

3. 证 明 不 等 式 (20)(21) 和 (22). 

4. R F = F(x) ЖС = С(х) 是 两 个 分 布 函数 , P. ЧО. 是 它们 与 直线 x+y = с 
的 交点 . 证 明 列 维 距离 L(F, F) (М, $1 练习 题 4) 


Рес 
V2 ) 


其 中 PQ ЖА Р. 和 о. 之 间 的 线段 的 长 度 . 
5. WEH, 一 切 分 布 函数 的 集合 , 关于 列 维 距离 的 是 完备 空间 . 


L(F, G) = sup 


58. 关于 测度 的 弱 收 敛 与 随机 元 的 几乎 处 处 收敛 的 联系 〈“ 一 个 概率 空 
间 的 方法 ”) 


1. 随机 元 收 合 性 的 定义 ”假设 在 概率 空间 (Q, F, P) 上 给 定 随 机 元 XX = Х@), 
Xn = Х» (х), п 之 1, М (E,Z, р) 是 随机 元 的 值 空间 ; 参见 第 二 章 85. W P ЯП Р„ 是 
X 和 Xn 的 概率 分 布 , 即 设 


Р(Ау=Р{ш:Х(ш)є А}, P(A)=P{w: Xn(w) Е А}, AEZ. 


推广 随机 变量 依 分 布 收敛 的 概念 ( 见 第 二 章 510), 引进 下 面 的 定义 . 

定义 1 称 随机 元 序列 Х„,п > 1 为 依 分 布 收 伍 或 依 分 布 律 收敛 的 (记号 : 
Xn 2, X, 或 X >, X, МХ, 1% X), ШЖ P, 5 P. 

仿照 随机 变量 的 依 概率 收敛 和 依 概 率 1 收敛 (第 二 章 810), 下 列 定义 是 自然 的 . 
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定义 2 ” 称 随机 元 序列 X,,n > 1 依 概率 收敛 于 X (Xn > X), 如 果 
Pf{w: p(Xn(w), X (w)) È e} э 0, п — оо. (1) 


定义 3 称 随机 元 序列 Xn,n > КЖ 1 (几乎 必然 或 几乎 处 处 ) 收敛 于 
X (Xn ac, ХХ, ES Х), WE p(X,(w), X(w)) S 0,n > оо. 

注 1 当然 , 只 有 在 о(Х„ (и), Х(о)) FA w є О 的 函数 是 随机 变量 时 , 即 当 
о(Хь(ш), Xw) 为 F- TNN, 最 后 两 个 定义 才 有 意义 . FNR (E, p) F 可 分 时 ， 这 
当然 成 立 (练习 题 1). 

注 2 关于 定义 2 需要 指出 ， 引 进 的 依 概率 收敛 性 ， 可 以 由 下 面 的 (定义 在 
(О,# Р) 上 、 取 值 于 Е 的 ; 练习 题 2) 随机 元 X МУ 之 间 的 范 基 (Fan Ку) Æ 
量 (练习 题 2) 


dp (X,Y)= із є >0:P{p(X(w),Y(w)) >= < =} (2) 


来 度量 化 . 

+з 如 果 依 概率 收敛 和 依 概 率 1 ИЖ Х, 要 求 随机 元 定义 在 同一 概率 
空间 上 ， 则 按 分 布 收敛 的 定义 X,， 之 、X， 内 与 分 布 的 收敛 性 有 关 ， 从 而 可 以 认为 
Х (ш), Х\(ш), Хо(ш), e 在 同一 空间 Е 上 取 值 , 不 过 可 能 给 定 在 “各 自 的 ”概率 空间 
(О,.# Р), (Q1, F 1, P1), (92, F 2,P2) Е. 然而 不 失 普 记性 , 如 果 作 为 上 述 各 空 
ЇН) КЛЕЯ, 并 且 定 义 Х(о, шо, м2, ..-) — Х (ш), Ху (м, ил, шо, >) — 有 1(w1) + -. , 则 总 
可 以 认为 它们 定义 在 同一 个 概率 空间 上 

2， 按 分 布 相等 的 随机 元 ”根据 定义 1 和 在 勒 贝 格 积分 中 变量 替换 的 定理 (第 
二 章 86 定理 т), 对 于 任意 有 界 连续 函数 f= (л), гс Е, A 


Xa > X ® Ef(Xn) > f(X). (3) 


由 (3) 式 可 见 , 根据 勒 贝 格 控 制 收敛 定理 (第 二 章 56 定理 3), НИС X, = 


X, 立即 可 以 得 到 х, 2. х. 因此 , 显然 对 于 X A Xn, 是 随机 变量 的 情形 , 有 同样 
的 结果 (第 二 章 810 定理 2). 更 意 想不到 的 是 , 在 某 种 意义 上 有 相反 的 结果 . 下 面 就 
给 出 其 确切 的 提 法 , 然后 讨论 其 应 用 . 

ЕЖА 设 随 机 元 和 X = X(N ЖУ =Y(w ”分别 定义 在 概率 空间 (V, IF, Рр”) 
和 (Q, F” PO Е, 取 值 于 同一 空间 Е. ЧМ X = Xw) AY 二 Y(w”) 有 相同 的 
概率 分 布 , 则 称 之 为 按 分 布 为 相等 的 (等 价 的 或 相合 的 ; 记 作 Хе Үү). 

定理 ] Я (Б, о) 是 可 分 度量 空间 . 

І 设 随机 元 Х, ХХ. (п > 1), 定义 在 概率 空间 (ОУ Р) 上 ， 取 值 于 E Ф, В 
Xn O X. ЖА, 存在 概率 空间 (Q, I”, Р") 和 定义 在 该 空间 上 且 取 值 于 Е 的 随机 
元 Х*,Х*(п> 1), 使 

Х* —— Х*, 
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X* £X, ХХ, при 
2. Ж Р,Р,(п> 1) # (E,Z, р) 上 的 概率 测度 , ВР, > P. ЖА, 存在 概率 空 
№) (0, F” P) 和 定义 在 该 空间 上 且 取 值 于 E 的 随机 元 Х*,Х* (тї > 1), 使 
хў 2 X*, 
В. 
P* = P, Р = р, тп>|, 
其 中 Р* 和 Pr Я Х* № ХУ 的 概率 分 布 . 

在 证 明定 理 之 前 , 我 们 指出 : 第 一 , АЕ 2; 因为 , 如 果 把 РЯР 取 作 
ХЖ X 的 概率 分 布 , 则 命题 1 可 以 由 命题 2 得 到 . 第 二 , 需要 指出 , 这 一 定理 最 
一 般 情形 的 证 明 技 术 上 相当 复杂 . 正 因 为 如 此 , 我 们 仅 对 Е = R 的 情形 证 明 该 定理 . 
这 一 证 明 相 当 简 明 易 懂 , 并 日 为 所 求 对 象 给 出 了 简单 描述 性 构造 . (美中不足 的 是 , 这 
一 构造 在 一 般 情形 下 , 甚至 对 于 E = R? 的 情形 , 并 不 “适用 ”.) 

定理 1 的 证 明 (Е = R KHE) B F = Р(х) 和 Е, = Fala) 是 对 应 于 
(了 ,多 (R)) 上 的 测度 已 和 Pa 的 分 布防 数 ; 而 是 О = Qu) 与 函数 = F(x) ЖШ 
联系 的 分 位 函数 , 唯一 地 决定 于 如 下 公式 

Q(u) = ШШНт:Р(х) 2и} О<ъ< 1. (4) 


不 难 验证 ， 
F(x) 2 и © (и) < т. (5) 
现在 考虑 О* = (0,1), Я" (x) = .多 (0,1), 而 P* 是 勒 贝 格 测度 : P*(dw*) = ао", 
& X*(w*) = О(ш*),ш* Е О*. ЖА, 
Р" {ш : X*(w*) < r} = P*{w* : Q(w*) < z} = P*{w* : w* < Е(х)) = F(s), 


即 所 构造 的 随机 变量 Х*(ш*) = О(ш*) 的 分 布 怡 好 是 Р. 类 似 地 , 随机 变量 X*(w*) = 
©л(ш*) 的 分 布 怡 好 是 Ру. 

其 次 , 并 不 复杂 地 可 以 证 明 , 由 在 极限 函数 F = Р(х) 的 每 个 连续 点 上 , Р(х) 收 
AF F(x) (对 于 E =R 的 情形 , 等 价 于 Р, > Р; 见 81 的 定理 1), 可 见 分 位 函数 序 
Я Оһ(и),» > 1, 在 极限 函数 О = О(и) 的 每 个 连续 点 上 , 也 收敛 于 Qu). 由 于 函数 
Q =О(и), u є (0,1), 最 多 有 可 数 个 间断 点 , 则 其 勒 贝 格 测度 P* 等 于 о. 因而 


Хл(ш*) = Qalu") “> Х*(ш*) = О(ш*). 
定理 1 (对 于 E =R 的 情形 ) 得 证 . С 
定理 1 所 描绘 的 , 由 给 定 的 随机 元 Х 和 Х,, 向 定义 在 同一 概率 空间 上 的 新 随 
机 元 X* 和 хх 的 过 渡 , 说 明了 本 节 的 标题 中 的 名 称 “ 一 个 概率 空间 的 方法 ”的 含义 . 
现在 利用 这 一 方法 , 可 以 比较 容易 地 证 明 一 系列 的 命题 . 
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з. 一 个 概率 空间 方法 的 应 用 BR X, Xain > 1) 是 定义 在 同一 概率 空间 (О, 
多 ,P) Е, 在 可 分 度量 空间 (E,Z, р) 中 取 值 的 随机 元 , НХ, S X. B h= hhz), те 
Е, Ж (Е,®, р) 到 另外 一 个 可 分 度量 空间 (EE р’) 上 的 可 测 影射 . 在 概率 论 和 数 
理 统 计 中 , 常 遇 到 这 样 的 问题 : 在 h = ha) 满足 什么 条 件 时 , 由 收敛 性 X, 25 хон] 


以 得 出 收敛 性 һ(х„) D hX). 
例如 , 假设 61,&2,... 是 独立 同 分 布 随机 变量 , Н Ee = mm Del = о? > 0, 而 
Xn = (&+...+&)/п. 由 中 心 极限 定理 , 可 见 


Yn т) Zm) а, (0,1). 


问 对 于 什么 函数 h= h(x) 可 以 保障 


h 人 4, hEN(0,1))? 
(对 于 连续 水 数 h = h(x) 肯定 可 运用 著名 的 # - КЖ |Н. В. Mann 一 A. Wald] 定 
n(Xn — т)? а х2 
Mån M 4,2 


с^ 


Ях 是 自由 度 为 1 的 x? 分 布 随机 变量 ; 见 第 一 章 83 表 1—2.) 
另 一 例子 . WR X = X(t,w), Xn = Xn(t,w),t € T, 是 随机 过 程 ( 见 第 二 章 85)， 
而 
h(X) = sup Хы). АХ) = sup |Xn(t, ш), 


则 上 面 所 提问 题 表 示 : ТЕРА ЕШ ӘЛИ Х„ > х, 可 以 得 出 其 上 确 
ЕО Һ(Х„) > hX)? 
保障 蕴涵 关系 
Xn 26 X > ЫХ) S ЫХ) 


的 条 件 之 一 是 , 影射 h = h(z) 连续 . 事实 上 , Ш f = f(z') ЕЕ 上 是 有 界 连续 函 
数 , 则 f = fihi) ЕЕ 上 也 是 有 界 连续 函数 . 从 而 


Xn “э X > Ef(h(Xn)) > ES (h(X)). 


下 面 的 定理 表明 , 考虑 到 极限 随机 元 X 的 性 质 , 对 于 函数 h = ha) 连续 性 的 要 
求 可 以 进行 一 定 减 弱 . 

记 Ar = {1E Е: Ах) EA r 处 不 р 连续 }, 换 句 话 说 , 设 Л, EAR = Вх) 
的 间断 点 的 集合 . 注意 А, є (练习 题 4). 
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定理 2 1. (Е, р) f (E E'po) 是 可 分 度量 空间 Н Х„ OX, 而 影射 
һ= һ(х),х Ee Е, 满足 条 件 : 
Р{ш:жє Аһ} = 0. (6) 
那么 ,h(Xn м0 
2. Ж РР, п> 1) 是 可 分 度量 空间 (Е, р) 上 的 概率 测度 ВР Р, f 
Мх), r € E, Ж (E, @ р) 到 可 分 度量 空间 (EE р) 的 可 测 影 射 . 假设 
Р{х:хжє Аһ} = 0. 


那么 ,Pu 一 Р", 其 中 РА) = Р„{һ(х) є А}, РКА) = Ри) Е А}Ає#&#. 


证 明 像 定 埋 1 一样 , 例如 , 只 需 证 明 命题 1. 
Я Х* 和 Xx*(n > 1) 是 用 “一 个 概率 空间 的 方法 建立 的 随机 元 , 且 满足 X* -三 
X, X! == Хь(п > 1),X* 29 X. а 


А* = {w* : P(X}, X*) +0}, В" = {0 : X*(w*) € An}. 
那么 ,P*(A* UB*) =0 BIF w* ё A* О В", 
МХ» (м")) > Һ(Х*“(ш*)), 
而 这 说 明 м X*) ==, МХ"). 在 第 1 小 节 已 经 指出 , HETA h(X*) Z h(X*). 由 
于 ЛОХ) < АХ), Хх") == = UX) ; 可 见 h(Xn) 2 h(X). п 


4. 完成 87 中 (13) 式 的 证 明 ХЕ ЕН 1 的 蕴涵 关系 (<) 时 , 曾经 用 
到 性 质 (13). 现在 进行 (13) 式 的 证 明 , 仍然 借助 “一 个 概率 空间 的 方法 ”. 

B (E,Z. р) 是 可 分 度量 空间 , S 是 等 阶梯 连续 函数 = g(r) 26, 满足 性 质 对 
于 一 切 хє Е,9є9 和 某 个 常数 C, 有 |9(т)| < С. 

定理 3 ЖР,Р„(т >1) Ж (Е,&,р) 上 的 概率 测度 , Н Р, Р, ЖА 


—>0 п со. (7) 


f 9(т)Р»(9<) 一 f g(z)P(dz) 


sup 
9ЕЯ 


A $ (т) 式 成 立 , MEE a > 0 和 函数 д, д2,-.. Е 多 ,使 对 于 无 限 多 个 n, 有 


[А 9п(2) Р, (Ях) 一 J вы) Pz) > а > 0. (8) 


将 “一 个 概率 空间 的 方法 ”用 于 随机 元 X* 和 X* ( 见 定理 1), 可 以 将 (8) 式 写 成 : 对 
于 无 限 多 个 п, 
E" gn (Xà) — Е*9»(Х*)| > а > 0. (9) 
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由 于 类 多 的 性 质 , 对 于 任意 > 0, 存在 6 > 0, 当 р(т, у) <6 时, 使 对 于 一 切 g eg， 
有 |g(y) — 9(х)| < =. № МЕН] те Е,9є 7, Ж |9(х)| < С. 所 以 
Egn(Xn)— E” gn(X )| 
< E*{lgn (Xi) — оһ(Х*)|; P(X X*) > ô} 

+E” {19% (Ха) — gn(X )|; (Хи, Х”) < д} 
<2СР*{р(Х*,Х*) >ô} +. 


由 于 Х* 25 X, Ж Р*{р(Х*,Х*) > 6} 0, п 一 со. РЖ, 由 于 se > 0 任意 性 , 可 见 
lim|E*gn(X7) — E” gn(X*)| = 0, 


而 这 与 (9) AFA. 口 
5. 列 维 一 普罗 堆 罗 夫 度 量 值 的 上 估计 在 这 一 小 节 把 用 于 定理 1 的 “一 个 概 
率 空间 的 方法 ”的 思想 , 用 来 从 上 侧 佑 计 可 分 度量 空间 (Е, р) 上 两 个 概率 分 布 之 
间 的 列 维 - YFED REEERE L(P, Р). 
定理 4 ”对 于 任意 两 个 测度 P 和 Р, 存在 概率 空间 (Q, IF”, P*), 以 及 定义 在 
该 空间 上 、 取 值 于 E ЮМАА X №Х, НХ # Х 的 分 布 恰好 分 别 为 已 和 万 
并 且 满 足 : | 


L(P, P) < 4р.(Х,Х) = inf{e > 0;Р*{р(Х,Х) 2 =} <=}. (10) 


证 明 根据 定理 1, 确实 存在 概率 空间 (0*,9“,Р*) 定义 在 该 空间 上 、 取 值 于 
Е ЮЛ X M X, #Р*{ХЕА} = Р(А),Р*{Х є А} = Р(А),Ає&. 
设 c>0, 使 | 
Р*{р(Х,Х) >=} < =. (11) 


那么 , 对 于 任意 А є ®, 


P(A) = P*{X є A} = P*{X € A,X € А*}+Р*{Х € A,X ¢ А) 
< P*{X є A€} +Р*{р(Х,Х) >=} < Р(А®) +e, 


其 中 А = {x € E: p(x, А) < =}. 因此 , 根据 列 维 - 普罗 霍 罗 夫 度 量 的 定义 (87 第 2 
小 节 )， 
L(P, P) < є. (12) 
由 (11) 和 (12) 式 , 并 对 e > 0 XK inf, 得 所 需要 求 的 (10) R. 口 
Ж 设 和 和 和 是 概率 空间 (О, Р) E, PAF E 的 随机 元 , 其 概率 分 布 为 
Px fe Pz, 那么， 
L(Px, Pz) < ар(Х, X). 
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注 1 所 作 的 证 明显 示 , 事实 上 (10) 式 总 是 正确 的 , 只 要 在 某 一 概率 空间 (О, 
Ф", Р") 上 可 以 指出 取 值 于 的 随机 元 X МХ, 使 其 概率 分 布 相应 为 P 和 P, t 
HWF X AX, E {ш* :р(Х(ш*),Х(ш*)) >=} є F e> 0. 因而 , 估计 式 (10) 的 质 
量 本 质 上 依赖 于 , 根据 测度 已 和 Р ELKAR (0*,9“,Р*) ЯП Х,Х 如 何 . (由 PP 和 
P 建立 Q F Р" ЖХ, X 的 过 程 , 称 做 联结 或 匹配 一 一 源 于 英语 单词 coupling.) 
例如 , 可 以 取 “ 联 结 - 测度 ”P* 等 于 测度 P 和 P ЮА: P* = Рх Р, 然而 这 样 的 
选择 通常 不 会 得 到 (10) 式 的 好 估计 . 

注 2 目 然 提出 问题 , (10) 式 何 时 为 等 式 . 为 此 , 我 们 (不 加 证 明 ) 给 出 如 下 结 
果 : 设 已 和 尸 是 可 分 度量 空间 (E,Z, о) 上 的 两 个 概率 测度 , 存在 这 样 的 (0*, .2 Р") 
和 Х,Х, 使 


L(P, P) = ар-(Х, X) = inf{e > 0: Р*{р(Х,Х) >=} <=}. 


6. 练习 题 

1. 假设 概率 空间 (9, 多,P) 是 某 一 可 分 度量 空间 , 而 Xw) 和 Y(w) 是 定义 在 该 
空间 上 的 任意 随机 元 , 证 明 实 函数 о(Х (ш), Ү (ш)) 是 随机 变量 . 

2. МЕНДЕН (2) 式 定义 的 函数 dp(X, 了 ), EREET Е 的 随机 元 空间 中 的 度量 

3. 证 明 (5) 式 的 正确 性 . 

4. 证 明 集 合 An = {2 € Е: Мх) г TEB pE) є 多 . 


59. 概率 测度 之 间 的 变 差 距离 . 角 谷 — 海 林 格 距离 和 海 林 格 积分 ， 对 测 
度 的 绝对 连续 性 和 奇异 性 的 应 用 


І. ` 概 率 测度 间 的 变 差 距离 。 设 (QF) 是 可 测 空间 , P= {Р} 是 空间 (0,9) 
上 的 概率 测度 族 . 
定义 1 设 P 和 PP 为 多 中 的 两 个 测度 . 称 变量 


[еда – Р) | (1) 


var(P — P) = sup 
р 


Я ( 带 符号 ) 测度 P 一 PP 的 全 变 差 , 其 中 вир 在 一 切 满足 |p(w)| <1 0.97 可 测 函 数 
p(w) Ж БЖЖ. Ж var(P 一 PP) ЯР 已 和 巨 之 间 的 变 差距 离 , 记 作 |Р-Р|. 
引 理 1 交差 距离 


|P – Р|| = 2 sup [Р(А) — Р(А). (2) 
АЕ 


证 明 由 于 对 于 任意 AESF, 


P(A) - P(A) = P(A) — Р(А), 
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则 
2|Р(А) — Р(А)| = |Р(А) – P(A) + PA) — PA) < |P – P|, 


其 中 由 (1) 式 得 最 后 一 个 不 等 式 . | 
为 证 明 相 反 的 不 等 式 , ЧН РЕЯ u= P-P 的 哈恩 (Н. Hahn) 分 解 (Я 

_ Эп, М, [33, 第 六 章 85] 或 [70 第 121 页 ]). 根据 这 一 分 解 , 测度 j 表示 为 u= р 一 上， 

其 中 yy; 和 u (测度 и WEZE и, 和 下 变 差 u) 具有 如 下 形式 : 


(А) = /a u-(4)= | аш, AEF, 
其 中 M 是 .多 中 的 集合 . 这 时 


varu = уаги + varu- = u+ (Q) + и_ (9). 


и+(9) = Р(М) - Р(М), и_(®) = Р(М) - PO), 


|P – Р|| = [Р(М) - Р(м)] + [Р(М) – Р(М)] < 2 sup |Р(А) – P(A). 0 


定义 2 ” 称 概率 测度 序列 (Phn 按 变 差 收 化 于 测度 已 记 为 Р, 5 P, 如 果 
(Pa — P| — 0, n> оо. (3) 


由 这 一 定义 和 51 的 定理 1, 不 难看 出 , 如 果 定 义 在 度量 空间 (Q, .多 ,o) 上 的 概率 
测度 按 变 差 收敛 , 则 必定 也 弱 收 敛 . 

分 布 按 变 差 的 接近 程度 , 看 来 是 概率 分 布 接近 程度 最 强 的 形式 . 因为 , 车 两 个 分 
布 的 变 差 接近 , 则 实际 上 在 具体 的 情形 下 可 以 认为 它们 是 无 区 别 的 . 因此 , 可 能 造成 
一 种 印象 , 似乎 研究 变 差距 离 没 有 太 大 的 概率 意义 . 然而 , 例如 在 泊 松 定理 中 (第 一 
章 $6), 二 项 分 布 同 泊 松 分 布 的 收敛 , 就 是 按 变 差 收 敛 于 0 (FE 812 将 给 出 这 个 距 
离 的 上 估计 .) 

下 面 将 要 举 出 数理 统计 中 用 到 两 个 测度 P Р 间 变 差距 离 的 例子 ， 这 种 情 
形 上 自然 地 出 现在 根据 观测 结果 区 分 两 个 统计 假设 н ЯН 的 问题 中 .考虑 两 个 假 
设 , Н: 真实 的 分 布 为 РН: 真实 的 分 布 为 Р; 要 求 判断 两 个 概率 模型 : (Q, F P) 或 
(2 F, Б), 哪 一 个 更 符合 对 观测 结果 的 “统计 ”. 如 果 把 осо 解释 为 观测 结果 . 则 
认为 取 值 于 [0,1] 的 任意 F- ЧИЖ р = р) 是 (区 分 假设 НЯНИ) 准则 . 
准则 的 统计 意义 是 ，p(w) 是 “ 当 观 测 结 果 为 w 时 , 接受 假设 五 的 概率 ”. 

我 们 用 第 一 类 错误 概率 和 第 二 类 错误 概率 表征 区 分 假设 Н ЯП Н 的 准则 的 质量 : 

о(ф) = Ер(ш) (=“ 当 五 真实 时 , 接受 Н НЕ”), 


59. 概率 测度 之 间 的 变 差 距离 . ВЯ — 海 林 格 距离 和 海 林 格 积分 对 测度 的 
绝对 连续 性 各 奇异 性 的 应 用 


6(p) = Ell 一 yg(w) (=“ 当 五 真实 时 , 接受 Н 的 概率 ”)， 
ЕЖЕ 表示 按 测 度 PA P 求 平均 . 假如 假设 Н 和 五 是 对 等 的 , 自然 认为 
使 误差 概率 之 和 aly) + (0) 最 小 的 准则 p* = gp*(w) 是 最 优 的 (只 要 这 样 的 准则 存 
ТЕ). 


设 | 
(Р, Р) = шНа(ф) + б()]. (4) 
记 | р 
1 ~ P _ dP 
Q= (Р-Р) 和 2= 40° 2= ад’ 


则 
8 (Р, Р) = Ер + E(1 – p)] = inf Eolzp + 201 — 9)] = 1 + inf Eolp(z —2)] 
(这 里 及 以 后 用 во 表示 对 测度 Q 的 数学 期 望 ). 
不 难看 到 , 在 函数 
P (4) = Tz < z} 
上 达到 inf, HAX Eolz – 2) = 0, 所 以 


~ 1 1 ~ 
#,(Р,Р) =1- 3Eolz -a=1- IP- Р, (5) 


其 中 由 下 面 的 引 理 2, 可 得 最 后 一 个 等 式 . 于 是 , 由 (5) 式 可 见 , 函数 g, (Р.Р) 表征 
区 分 假设 的 质量 , 而 多 (P,P) 依赖 于 由 变 差 距离 表征 的 测度 已 和 Р 的 接近 程度 . 

引 理 2 #0 是 某 一 go- 有 限 测 度 , 满足 Р<0,Р<0, RAŽ PHPH 
ФО 的 拉 东 一 尼 科 迪 姆 导数 记 为 


z= у ЗР 
10° * do 
Ж 2, 
| |Р-Р| = Eolz – 1, (6) 
而 且 , 如 果 Q = (Р + Р)/2, 则 
IP- РІ = Её — $] = 2Е0|1 — z| = 2801 — Я (7) 


证 明 对 于 一 切 rF- ЧИЖ y = ylw) pw) < 1, 根据 z 和 3 的 定义 ,有 
50 — Ey] = |Eoy(z — 2)| < Ед (2-7) < Eol(z — 2). (8) 


因此 
|P — Pl < Ealz ~ $], (9) 
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但 是 , 对 于 函数 
ОР 1, 202, 
р = sign(zZ— z) -{ _ 
—1, 2 < 2, 
有 
Ey — Ey| = Eol(z — Z). (10) 
由 (9) 和 (10) 式 得 所 求 的 (6) 式 . 由 于 +? = 2(0 一 ас.), 由 (6) RA (7) =. 


[ 
系 1 &Р»№РЯ (К,.9(®)) 上 的 两 个 概率 分 布 , 其 (关于 勒 贝 格 测度 dz 的 ) 
ЖЖ ЛЕХ р(х) Я р(х), те К, Я] 


Р-Р! = | С |р) — ааа. (11) 


(作为 О 应 取 (R, BR) 上 的 勒 贝 格 测度 .) 
系 2 设 P 和 P 忆 是 两 个 集中 在 可 数 个 点 тут, 上 的 离散 测度 : 已 = {р 
рг, h P= {Р1, P2, } M 


IP- ŽI = Ур - ñil. (12) 
(作为 Q 应 取 读 数 测 度 ， Bp Q({zi}) = 1,% = 1,2,: ..) 

2. 测度 间 的 角 谷 - ЖЫ 8 (S. Какибапі Е. Helinger) 距离 ”我 们 现在 再 
考虑 一 种 概率 测度 接近 程度 的 度量 , 它 在 很 大 程度 上 与 变 差 测度 的 接近 程度 是 同 种 
ВУ. 

ЕРЯРЯ (0,9) 上 的 两 个 概率 测度 , 而 О 是 控制 P Р 的 另 一 个 概率 测 
Жо, PQ, Р < О. PE 


АР _ dP 
2 = —, & = 


dQ’ “ 9 
EX3 称 非 负 量 (P, P) 为 测度 已 和 巨 之 间 的 角 谷 — 海 林 格 距离 , 如 果 


р?(Р,Р) = > EQ(Vz - м2)?, (13) 


Eo(Vz — У)? = LAS- ү | dQ, (14) 


ОО (相对 P 和 Р) 为 优 测度 或 强 测度 . 一 译 者 


由 于 


39. 概率 测度 之 间 的 变 差 距离 . НА — 海 林 格 距离 和 海 林 格 积分 . 对 测度 的 


绝对 连续 性 和 奇异 性 的 应 用 
ДЕ (P, P) 的 书写 形式 
о?(Р, Р) == 5 / (МаР 一 уар)? (15) 
‘2 
就 变 得 清晰 明了 . 
如 果 设 
Н(Р,Р) = Еоу22, | (16) 
则 仿照 (15) А, 可 以 形式 地 写 为 
Н(Р,Р) = ] МаРаР. (17) 
Q 


由 (13) 和 (16) =, 以 及 由 (15) 和 (17) А, 可 见 
р?(Р,Р) = 1 ~ Н(Р, Р). (18) 


Е Н(Р, Р) ЖЖ 1/2 阶 海 林 格 积分 . 对 于 许多 应 用 , 考虑 a (0,1) 阶 海 林 格 积 
分 Н(о; Р, Р) EAMH, 它 由 下 面 的 公式 定义 : 


Н(а;Р,Р) = Egz 7S, (19) 


或 形式 地 写 为 
H(a; P,P) = | (аРучаБ)!-®. (20) 
P 


显然 H(1/2; P, P) = H(P, P). 

为 保障 定义 3 是 适 定 的 , 需要 证 明 量 р?(Р, Р) 与 控制 测度 的 选择 无 关 , Н р(Р,Р) 
事实 上 满足 对 “距离 ”的 要 求 . 

583 1. a (0,1) 阶 海 林 格 积分 Hla; P,P) (从 而 oP, P) 与 控制 测度 О 
的 选择 无 关 . 

2. 由 (13) 式 定 义 的 函数 р, 在 概率 测度 的 集合 上 是 度量 . 

证 明 1. 假如 Q 控制 P 和 PP ( 即 P < QP < о”, И 8’ 也 控制 测度 О = 
(P + P)/2. 因此 , 只 需 证 明 , Ж О < 8, 则 

Ео(2° 7“) = EQ'(z)"(2)' ®, 
其 中 _ 
‚ АР „ dP 
с аа” * Сай" 

© v = 19/10. 那么 2 = го, = #0, Н 


УЛ 


Ес(г° 1°) — Ео’(02%-%) — Eg (2')%(2)'-°, 
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于 是 , 第 一 个 命题 得 证 . 

2. 如 果 р(Р,Р) = 0, 则 z = О-а.с.), 因此 P = P， 显 然 , 由 对 称 性 可 见 
р(Р,Р) = р(Р,Р). 最 后 , 设 Р,Р',Р” 是 3 个 测度 , 满足 P<Q@,P <Q, PQ, 
В. 


_аР ,_ dP ар" 
а 上 ”上 


利用 对 于 12(9,9, 9) 中 的 范 数 成 立 三 角形 不 等 式 , 得 


2, 


Be(vVz — У") < [Eo(Vz – У)? + [Eo(Vz — Уз), 
即 
р(Р,Р”) < p(P, P’) + p(P', Р"). О 


由 定义 (19) 和 健 比 尼 定 理 (第 二 章 56) 可 以 直接 推出 , 当 测 度 已 和 Р 是 测度 
的 直 积 时 (第 二 章 86 第 10 小 节 ): P= P xex Pa, P= P xx P, Ш Р #1 
Р 间 的 海 林 格 积分 等 于 相应 积分 的 积 : | 


Н(о; Р, Р) = | Н (ог; Р, Р,). 


i=l 


下 面 的 定理 揭示 了 变 差距 离 与 角 谷 — 海 林 格 距离 (或 等 价 地 , 海 林 格 积分 ) 间 
的 联系 . 特别 , 它 表明 这 些 距离 决定 概率 测度 空间 在 (0,9) 上 的 同一 拓扑 . 
定理 1 下 列 不 等 式 成 立 : 


2[1 — H(P, P) <|Р-Р| < y8[1 — H(P, P), (21) 
|P — Pl <2\/1- Н?(Р,Р). (22) 


特别 ， | 
2p°(P, P) < |Р-Р| < V8p(P, Р). (23) 


证 明 由 于 Н(Р,Р) <1, MXF 0<хж<1,1—х? < 2(1— т), ЖЕН (22) RA 
(21) 式 的 第 二 个 不 等 式 , 而 (22) 式 由 下 面 的 一 系列 不 等 式 (其 中 Q = (Р+Б)/2) Ч 
得 : 


IP — PI = Ео|1— z| < VEoll — 2|? = 1 ~ Еодг(2— 2) = y1 ~ Eozz 
= y1- вә(У22)° < п — (Ea УЗ)? = Wi- HYP, P). 
最 后 , 由 不 等 式 
М2 = УР < |21, z € [0,2], 


59. 概率 测度 之 间 的 变 差距 离 . НА — 海 林 格 距离 和 海 林 格 积分 . 对 测度 的 
绝对 连续 性 和 磨 异 性 的 应 用 


有 (其 中 Q = (P + P)/2), 
1- H(P, P) = (Р, Б) = „Во: - У®— 2] < Бој: -1| = |Р — В. 


由 此 可 得 (21) 式 的 第 一 个 不 等 式 ш 
+ 头 似 地 可 以 证 明 , 对 于 任意 о є (0,1), 有 


2[1 — Н(а;Р,Р)] < |Р-Р| < Veall — H (a; Р, Р), (24) 


‚ 其 中 cu 是 某 一 常数 . | 
ЖЗ 设 P 和 P",n 之 1, Ж (0,9) 上 的 概率 测度 . 那么 , 当 n оо 时 , 有 


|P” — P| 0% А(Р", Р) 1 & р(Р",Р) -+0, 
|P” – P| > 2 = Н(Р", Р) > 0 < р(Р", Р) — 1. 
#4 由 于 根据 (5) 
#(Р,Ру=1—[Р— PI, 
则 由 (21) AF (22) <, 有 
УНР. P)] < 1 — y1- H?(P, Р) < 8,(Р, P) < H(P, Р). (25) 


特别 , 设 
P”=Px...xP, P= Px. xP 
а фт 


т, т 


相应 为 п 个 同样 测度 的 直 积 . ЖА, 由 于 
Н(Р”, P”) = [Н(Р,Б)" =е-№, A= -1n H(P, P) > p(P, Р). 
则 由 (25) X, 得 
se" < ®, (Р", Р") < en < е-тю (P.P), (26) 


用 于 上 面 考虑 的 区 分 两 个 统计 假设 的 问题 , 由 这 些 不 等 式 可 得 如 下 结果 . 

设 &1,2,... 是 独立 同 分 布 随机 元 , 其 概率 分 布 为 P (假设 Н) РЕН). 
H P £P, МТ ро?(Р,Р) > 0. 那么 ,表征 根据 观测 结果 с|,... Е, 最 优 区 分 假设 H 
和 Н 质量 的 函数 g, (Pr, Р"), `4 п — оо 时 以 指数 的 速度 递 降 为 0. 
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3. 海 林 格 积分 对 测度 的 绝对 连续 性 和 奇异 性 的 应 用 ”利用 上 面 引 进 的 a 阶 海 
林 格 积分 , 容易 表述 概率 测度 绝对 连续 性 和 奇异 性 的 条 件 . 

设 PA P ЯМ (0,7) 上 的 两 个 概率 测度 . 回忆 , 测度 Р 关于 测度 P 
绝对 连续 (WE P < Р), 如 果 对 于 4e #, A P(A) = 0 VA P(A) = 0. ШЖ 
Р«РАР« Р, ИЖРЯР Sh (Р-Р). WE PA P 称 做 奇异 的 或 正 交 的 
(P 1 Р), 如 果 存 在 АЕ, № Р(А) =1 和 P(A) = 1 (П В РЖ Р “处 于 ”不 同 
的 集合 中 ). 

设 о 是 概率 测度 , 而 P < Q@,P <Q, 


定理 2 下列 条 件 等 价 : 

(а) P<P, 

(b) P{z > 0} = 1, 

(с) Н(а; P, P) 一 ],a | 0. 

定理 3 ”下列 条 件 等 价 : 

(а) PLP, 

(b) P{z > 0} =0, 

(с) H(a; Р.Р) > 0, а [ 0, | 
(d) H(a; P, P) = 0, 对 于 一 切 a є (0,1), 
(е) Hla; Р.Р) = о, 对 于 某 个 ae (0,1). 
证 明 两 个 定理 的 证 明 同 时 进行 . 根据 > 和 ZZ 的 定义 


P{z = 0} = EolzI(z = 0)| = 0, (27) 
Р(Ап {г > 0}) = ЕоЕКАП {г > 0})] = Eo [ЦА п {z > 0})| 
= Е ЕС п {2 > ор = Е КА) | (28) 
从 而 ,“ 勒 贝 格 分 解 ” 成 立 : 
Р(А) = Е сл) +Р(АП{2=0}), AEF, (29) 


其 中 随机 变量 Z = >/> 称 做 测度 Р (的 “绝对 连续 分 量 ”") 关于 测度 PP 的 勒 贝 格 导 
ж, 并 且 记 作 dP/dP (对 照 第 二 章 86 AR - 尼 科 迪 姆 定理 的 注 )， 

由 此 立即 得 出 两 个 定理 中 (а) 和 (b) 的 等 价 性 . 

此 外 , 由 于 


2921-9 э ZI(z > 0), а |0, 


0. 概率 测度 之 间 的 变 差距 离 ， 角 从 - 海 林 格 距离 和 海 林 格 积分 . 对 测度 的 
绝对 连续 性 和 奇异 性 的 应 用 


而 对 于 a (0,1) 
0< 291-0 < аз + (1-а) < +7, 
В Ео(2 +2) = 2, 故 根据 勒 贝 格 控制 收敛 定理 


lim Н(о; Р, P) = FozI(z > 0) = P(z > 0), 


而 这 说 明 两 个 定理 中 (b) < (с). 
最 后 证 明 , 在 第 二 个 定理 中 (с) о (а) = (е). 为 此 只 需 注意 到 


H(a; P, P) = È (=) КЕ>0), Ра>0)=1. 


这 说 明 , 对 于 每 一 个 a с (0,1), P{z > 0} = 0 <= Н(а; Р, Р) = 0, HETARAKA 
(с) <= (d) < (е). 口 
例 1 ИР-РхрЬх....РЕРхьЬ»х..., ҖЕН Р, ЖІ Б, ÆR, 2R) 
上 的 高 斯 测度 , 其 密度 为 
l (ep) 1 
рк(т) = J o? Dk(Z) = 5% 
由 于 通过 简单 的 计算 , 得 


(2 一 
ак) 


Н(а; Р, Р) = [| H(a; Pe, Po), 


k=1 
其 中 
H(a; Рь, Рь) = ] pe (хр! “(хат = е7 (9-80) 
得 со 
Н(а;Р,Р) = ет” 22 (ema) 
由 定理 2 和 3 得 


© 
PKPPP Р-Р е Ņ (ar – аһ)? < оо, 
k=1 


Ру Р © У (а – аһ)? = со. 
k=1 


例 2 ЛЕ Р= Рх Рх ...,Р= Рх Рх ..., 其 中 Р, 和 Р, 是 参数 相应 
为 入 > 0 ЖА, > 0 的 泊 松 分 布 . 那么 , 不 难 证 明 


_ со — “2 
Р«Р®Р«РФ Р-Р У (Уж- У») < оо, 


=} 


оо 2 
Р 1 реу (У№- Ух) = бо. 
k=1 
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4. >] 
1. 在 引 理 2 的 记号 下 , 设 


PA P = Ео(2 ^2), 
其 中 дл == min(z, 2). 证 明 
IP- Р|| =2(1-Рлр) 
(从 而 ,多 (P,P) = PA Р). 


2. 设 P, Pan 2 1, Ж (В,.-8(В)) 上 的 两 个 概率 测度 , 其 (关于 勒 贝 格 测度 的 ) Ж 
度 为 р(х), pn(7),n > 1. 假设 对 关于 勒 贝 格 测度 几乎 所 有 =, р(х) — р(х), 证 明 


OO 
\Р-Р„\= | |р) - рые 0, пос 


(对 照 第 二 章 86 练习 题 17). 
3. 设 已 和 已 是 两 个 概率 测度 . 定义 库 尔 贝克 (S. Kullback) 信息 量 — НР 
有 利于 Р КИЕВЕ — K(P, P), 定义 为 : 


Eln ar EPP, 
dP 


K(P, P) = | 
со, Ян АХ. 


证 明 
K(P, P) > -2lnfl – р°(Р, Р)| > 2p2(P Р). 

4. 证 明 公 式 (11),(12). 

5. 证 明 不 等 式 (24). 

6. 设 P, P,Q Ж (R, 80T) 上 的 3 个 概率 测度 , 而 PxQ Ро 是 它们 的 卷 
积 (BE §8 第 4 小 节 ). ШИ 

P*Q -PQI < |Р-Р|. 
7. 证 明 (30) 5. 
8. ЕЖ n 是 在 可 测 空 间 (8, 多 ) RER, 概率 空间 (0, Р) 上 的 随机 元 , 证 


明 
IP{6 € A} - Р{7є АН <Р{& #1}, AEZ. 


510. 概率 测度 的 临近 性 和 完全 渐 近 可 区 分 性 


1. 概率 测度 的 临近 性 和 完全 渐 近 可 区 分 性 的 概念 ”这 些 概念 , 在 数理 统计 的 沿 
近 理论 中 起 重要 作用 , 对 于 两 个 测度 序列 的 情形 , 是 两 个 测度 绝对 连续 性 和 奇异 性 
概念 的 自然 推广 


510. 概率 测度 的 临近 性 和 完全 渐 近 可 区 分 性 401 - 


我 们 从 定义 开始 . 

设 (F) 是 某 一 可 测 空间 序列 , 而 (Pnz, (Pny 是 概率 测度 序列 
其 中 Р» 和 Р" ЕЎ ("Я") Е. 

定义 1 称 测度 序列 (P) 临近 序列 (Р"), WE (Р") а (Р"), 如 果 对 于 满足 
Р"(А") 一 0,n > со 的 所 有 А" Е м", 有 PA) +» 0, п оо. 

定义 2 ЖИ (P) 和 (Pn") 完 全 渐 近 可 区 分 , 简称 可 区 分 , 记 作 (РА 
(P), 如 果 存 在 序列 пк | оо, 一 oo 与 这 样 的 集合 Ап с #"*, 使得: 


Р" (А"к) 一 1, Рд") —› 0, К оо. 


立即 可 以 指出 , 可 分 性 是 一 个 对 称 的 概念 : (Рп) д (Р") © (Рп) A (Р"). 临近 性 
不 具备 这 一 条 性 质 . 假如 (Р") а (Р?) Н (Р") ь (Р”), 则 记 作 (Pr) чь(Р”), ЖН 
称 该 测度 序列 (Pr) 与 (P) 为 相互 临近 的 . 

需要 指出 对 于 下 面 的 情形 : 对 于 一 切 п> 1 (0, 9”) = (Q, F), Р" = Р, Б" = 
Р, 有 


(Р") a (Pe Р «Р, (1) 
(Рт) чь(Р") = Р © Р, (2) 
(Рп) д (рт) 5 РР. (3) 


这 些 性 质 以 及 上 面 给 出 的 定义 说 明 , АПТА ТЕШЕ НР Е 
为 序列 (P") 和 (Р”) 的 “ 渐 近 绝对 连续 性 ” 和 “ 渐 近 奇异 性 ”. 

2. 无 限 稠密 随机 变量 序列 的 情形 下面 给 出 的 定理 1 和 2 是 50 的 定理 2 和 3 
对 测度 序列 情形 的 目 然 推广 . 

设 (О”,# )n>1 是 可 测 空 间 序 列 , О" 是 (0, Я”)(п > 1) 上 的 概率 测度 , 而 
(En) Ж (9",9”)„>, 上 的 随机 变量 (一 般 说 来 , 是 广义 随机 变量 ; 见 第 二 章 54). 

定义 3 ”随机 变量 序列 (E) 关于 测度 序列 О” 称 做 稠密 的 〈 记 作 (EQ) 9 
Ж), ж 


bm ішо" ("| > № = 0. (4) 
(对 照 52 中 概率 测度 族 的 密度 的 相应 定义 .) 
下 面 到 处 将 设 
о" = РР" » ар" » dP” 
= 5 2 а" = ад" 
此 外 , 记 
4 = 2 (5) 
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为 测度 Р" 关于 测度 Р" 的 勤 贝 格 导数 , 并 认为 2/0 = оо (№, 89(29) =). 注意 , 假如 
Pr < Р", Ш 2" 恰好 是 测度 Р" 关于 测度 Р" 的 密度 dP"/dPn 的 一 种 变 式 (第 二 


章 56). 
对 于 以 后 , 有 益 地 指出 , 由 于 
р" (> < м) — Eo» (1 (e < ^)) < 二 (6) 
В Z” < 2/2", 则 
2. Р") AE, (ZP 稠密 (т) 


定理 1 下 列 各 条 件 等 价 : 

(а) (Р") 4(Р"), 

(Ъ) (Р) 稠密 ， 

(6) (2"|Р") 稠密 ， 

(с) lim limH (a; Р”, Р") = 1. 

定理 2 下列 各 条 件 等 价 : 

(а) (Р") A (Р"), 

(b) 对 于 任意 = > 0,limP"(z" >=) =0, 

(b') 对 于 任意 N > 0, limP"(2Z" < N) =0, 

(с) lim іт (a; Р", Р") = 0, 

(d) 对 于 任意 a (0,1), limH (a; Р", Р") = 0, 

(е) 对 于 某 个 о є (0,1), limH (a; Р", Р") = 0. 

定理 1 的 证 明 . 

(a)=(b). 假如 (b) PRI, 则 存在 > 0 和 这 样 的 序列 wk Т оо, 使 Р" (25 < 
1/nk) > =. 然而 , 由 (6) 式 , 有 Р" (2: < 1/пь) < 1/пь 一 0,k > оо, 而 这 与 假设 
(P") ч(Р") 矛盾 . 

(b)e(b'). 只 需 注意 到 7" = (2/2") — 1. 

(6)=>(а). 设 А" = F” Н Р"(А”) -» 0, п оо, 有 

P(A”) < Р"(2" <=) + Egr (2”1(А” n {г > є})) 
< Pr (zn < e) + -Eo (2° Г(А”)у) = Б"( < €) + > P(A"), 
ENE, 
| ШР" (А?) < limP"(z" <=), e>0. 
命题 (b) 等 价 于 


lim mP” (27 < =) = 0. 
=10 n 


$10. 概率 测度 的 临近 性 和 完全 渐 近 可 区 分 性 ` 403 - 


于 是 , Р"(А") — 0 , 即 (b)=>(a). 
(bì)=(c). 8 = > 0, 则 


ноз Р", Ё") = EE] > Eo (E) Це > а" > 0)" 


"ү" ENE ~ 
= Es, (5) Ц > s)| > (5) 已 (2 > є). (8) 
由 于 2” + 2° =2, 可 见 对 于 < > 0, 
lim іа Н (a; Р", P”) > lim (2) limP(z" > е) = lmP"(z" > e). (9) 
alo n © |0 т п 


由 于 (b)lim limP"(z" > =) = 1. 因此 , 由 于 (9) 式 和 五 (a; P”, P”) <1, 可 得 命题 (c). 
(с)=(Ь). Ж де (0,1), ДІ | 
H(a; Р", Р") = Egr [(2")%(")1-%1(2" < є)] + Ес» [(#°)%($")+—®1(г* > e,z” < 6] 
+Ео- ((2”)°(#°)!—°1(* >=," > 人] 


п\ а 
<ar tasie Bo | (зато) 


С 
< 2e% + 28179 + (5) P"(z" > е). (10) 
因而 , 对 于 一 切 a є (0,1), 5 є (0,1), 有 
Dr ON， ~、 26 
lim im (2 > €) > {5 ) НюН(а;Р",Р") – —. 
є|0 n 2 n 2° 


首先 令 a | 0 并 利用 (с), 然后 令 5 о, 得 
lim limPn(zn > =) > 1. 
Е] 0 п 


于 是 , (b) 的 正确 性 得 证 . 口 


定理 2 的 证 明 . 
(а) (5). Ж (Р")А(Р"),пь Т оо, М А" є#"*, 则 рак (Дък) — 1, Рт=к( Ап») 一 


0. ЖА, 注意 到 27 + 2” = 2, Н], 
~ ~ Zk 2 
Р" (zr > є) < Р" (А") + Еот, x >л (А H(z": > =) 


ГА. 


= Бәк (А) + Mpare | 2 IAI > e) 


27% 
< Бе (Апу + = р" СД"), 


从 而 , Р" (zm > =) 一 0 故 (b) RA. 
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(b) 坟 (a). ПЖ (b) 成 立 , 则 存在 序列 nj Т оо, 使 
Рр" (= > <220 К > оо. 


由 此 并 注意 到 ( 见 (6) 3) 


得 命题 (a). 
(b)e(b'). 上 只 和 需 注意 到 7” = (2/2") — 1. 
(b)=(d). 由 (10) 式 和 (b), 对 于 属于 区 间 (0,1) 的 任意 = 和 6, 有 


limH(a; Р", Р") < 2e° + 251-9. 


因此 ,(d) ÈX. 
(9) = (с) 和 (9) (е) 显然 
最 后 , 由 (8) R, 有 


~ эх ~ 
limP”(2” > =) < (=) Ни Н (a; Р", Р"). 
n E т 


由 于 (2/e)* 一 1, а | 0, 可 见 (с) (Ъ) 和 (e)>(b). 口 
3. 独立 观测 概 型 ”考虑 对 应 于 独立 观测 概 型 的 一 种 特殊 情形 . 在 这 种 情形 下 ， 
积分 Hla; Р", Р") 的 计算 和 定理 1 和 2 的 应 用 , 都 没有 大 的 困难 . 
假设 测度 Pe 和 Р" 是 测度 的 直 积 : 


Р" = рх... x Р, P= Pix- xP, nèl, 


其 中 P, A РБ, Æ (0,2), к> 1, 上 的 测度 . 
由 于 在 这 种 情形 下 ， 


т т 
Н(о;Р", Р") = [| Н(а; Pk, Pe) = exp рэ ш[1 — (1 — Н(а; Ру, Ро | 
k=1 天 一 


则 由 定理 1 和 2 得 如 下 结果 : 


(Р") а (Р?) = паб ЭП - H(a; Р, Ре)| = 0, (11) 


(Р°)А(Р?) < Вт У [1 — Н(а; Pp, Bi)] = оо. (12) 
k=1 
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例 ix (k F k) — (R, .#(Е)), ak = (0,1), | 
Рь(ах) 一 Го! (т) ат, B.(dz) 一 баг 


由 于 这 里 Н (=; Pp, Ру) — (1 т ак)“, о Є (0,1), 由 (11) 式 和 和 H(a; Рь, Ру) — H(i 7 
а; Р,,Р,), 可 得 


(Р") а (Р?) < limna, < со, а, = О (5) 


(Р") 4(Р") > limnan =0, В] а, =о Ө ， 
(Р") ^(Р") = limnan = со. 
4. 练习 题 
1. Ж Р" = Рах... х Р", Р" = Prx...x Pn,n>1, 其 中 Pr М Pr 是 参数 为 
(аз, 1) 和 (名 ,1) 的 高 斯 测度 . 求 使 (P") < (Р), (Р") А (Р") 
的 条 件 . 


WRI, а" 和 ар 应 满足 
2. W Р" = Pr х 


х Р" Pr = Pr х... 


х Р"п> 1, 其 中 Pr 和 Pr 是 
(К, .多 (RR)) 上 的 概率 测度 : Pr (4х) = Го,1](®)4ах, Рт(дх) = Дал,1+в„](®)ат,0 < ав < 1 
证 明 Н(о; Pr, Рл) – 1 о, А 


(Р") < (Р”) < (Р") ч(Р*) < imna, = 0, 
(Р") А (р") = limnan = со. 
3. 设 (9,9, (F „)а>1) 是 滤波 度量 空间 , 即 引 进 了 о- АЗ (Я), 的 可 


测 空间 (9,9), 其 中 Я, с Я.С... С. В Я = oU, Fn). B PAPER 
(7,7) 上 的 两 个 概率 测度 , ПР, = PIF n, Pa = РЕ РЯРЖЕЯ, 上 的 收 
ЯҢ. 证 明 : 


(Р") 4(Р") = Р «Р, 
(Р") ар(Р") = РР, 
(P) Л (Р") 6 PLP. 
611. 中心 极限 定理 的 收敛 速度 
1. 中 心 极 限定 理 中 收敛 速度 的 估计 B SnI ,Enn 是 独立 随机 变量 序列 ， 


Эһ = Eni + + Enn, Fn(2) = Р{5, <т}п> 1. 如 果 On $, N (0, 1), 则 对 于 任 
意 z €R, Е, (5) > @(z). 由 于 函数 B(z) 连 续 , 则 这 里 实际 上 是 一 致 收敛 (81 练习 题 
5): 


sup |En(z) — (2) > 0, п — оо. (1) 
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目 然 提 出 关于 (1) 式 的 收敛 速度 问题 . 我 们 考虑 下 面 的 情形 : 


аж +& 


oyn 
其 中 ién o 是 独立 同 分 布 随机 变量 序列 , Н Et = 0, Dé = с? > 0, W Е, < 


Со. 


Sn = n l, 


定理 (МЕ — 3 [A. С. Веггу-С. G. Esseen]) 有 如 下 估计 


СЕ|, 


СЕ (2) 


sup |F} (z) — Ф(т)| < 


其 中 С 是 绝对 常数 ((2r)-12 < С < 0.7655). 
EA 为 简单 计 , © о? =1 和 b = ЕЕ, 3 < оо. 由 埃 森 不 等 式 (第 二 章 812 第 
10 小 节 ), 有 


sup|Fs(z) - 2) < 2 / LOO | т (3) 
其 中 | 
реет, м (9). 
而 f(t) = Вече. 
式 (3) ЕРИНЕ T 可 以 任意 选 . 设 
_ мп 
Т = 583" 
下 面 将 要 证 明 , 对 于 这 样 选择 的 T, 有 
0 -pO < 520087, Мт 4) 


考虑 到 这 一 不 等 式 , 由 (3) 式 立 即 得 到 所 要 证 明 的 不 等 式 (2), 而 其 中 C 是 绝对 常数 . 
(更 加 精确 的 计算 表明 , С 的 值 小 于 0.7655; 参见 [88 第 5 章 $4.3].) 

我 们 现在 证 明 不 等 式 (4). 

由 第 二 章 512 的 (18) 式 (п = 3, E£, = 0,Её? = 1, № ЕЯ] < оо), 可 见 


f(t) = Кей — 1 — + + 的 EES (cos 91451 + isin ĝaté1)}, (5). 


其 中 |91| <1, [60| < 1. 因此 


t 2 
f (-=) =1- и + А) кє (eos012 -万 +їза® ——&) ‚2 


$11. 中心 极 限定 理 的 收敛 速度 - 407. 

ЖЖ | <T = Vn/(563), 则 不 等 式 b > оз = 1 ( 见 第 二 章 86(28) =), 可 见 

t t | 人 四 ba 
Elia 
从 而 , 当 上 t| < 工时 ,有 | 
ЕД " — е®18 1(-5) 

(ж) ө © 

其 中 ln z 应 理解 为 复数 z 的 对 数 的 主 值 (а 2 = о |2| + баг 2, -п < arg z < п). 


由 于 Bs < оо, 则 由 带 拉 格 朗 日 余 项 的 泰勒 公式 ( 亦 对 照 第 二 章 610 (35) 式 )， 
为 s$? = E£; = 0, se = 0? =1, 可见 


t — 1 <) (it)? 5\2 (2)? „ [9% 
n (ж) р У", ба + 61372018 Л (52) 


7 + Каз f п" (уж). ИТ (7) 
其 次 | 
їп иски = 0807208) — 37 (9) 7 (8) 708) ЛР 
У (5) 


广 (5) 


因此 , 注意 到 对 于 [t| < T,|f(s)| < 1, 有 |f(t/Vn)| > 24/25, 得 
ii 91 Өз 十 30102 + 2 83 
| Г) (=) Eon < 7 Өз (8) 
25 


(Bk = Е|&|Ё,К = 1,2, 3; 6, < 6./? < 53/3; 见 第 二 章 86 (28) 2%). 
运用 不 等 式 lez – 1| < |zlelzi, 由 (6)~(8) 式 , 对 于 |t| < Т = Vn/(563), 得 
nn (Ж) et 


t n _4? _ 
(=) = 
70113 2 720383] 79343 _2 | 
< бул ep от} ие - 
注 需要 指出 , 在 缺乏 关于 可 和 随机 变量 的 性 质 的 补充 假设 的 情况 下 ,估计 式 
(2) 的 阶 数 和 估计 С > (27) 1/2 不 能 够 改进 , 事实 上 , ЖЕ, Е... 是 独立 同 分 布 伯 
努 利 随 机 变量 , H 


< 
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由 对 称 性 , 可 见 
2n 2n 
2P а < ] кеа -| = 1, 
k=1 k=1 
因而 , 根据 斯 特 林 公式 (第 一 章 82 (6) A), 有 
{ео}; 


特别 , 由 此 可 见 , 常数 С 不 小 于 (2х)-!/?, В. 


2n 
ре п >00. 


k=1 


1 1 


2. 练习 题 
1. 证 明 (8) =. 


_ 1 — — п от ~、 — 
(5а =: -CR 2 “Уян J 


2. 设 &1,&2,... 是 独立 同 分 布 随 机 变量 , Н Ег = 0, ОЕ? = 02, 而 ЕЕ, 3 < оо. 


ЖАП, 对 于 一 切 -oo < z < oo 有 如 下 不 均匀 不 等 式 估计 : 
СЕ | б 1 
oyn (1+ |2) 
证 明 此 不 等 式 , 至 少 对 于 伯 努 利 随 机 变量 证 明之 . 
З. 1% (вк )к>, 是 独立 同 分 布 随机 变量 序列 , 分 别 以 概率 1/2 取 +1 为 值 . 设 


| 1. | 
p(t) = Ее" 81 一 ze” +е"). 


Р(х) — (x)| < 


仿照 拉 普 拉 斯 , 证 明 


1 и” 1 
P{Sm =0}= | 2 (а ~ -有 п —> оо, 


其 中 5, =& +... +. 
4. 设 (&)к»о 是 独立 同 分 布 随机 变量 序列 , 各 取 2a +1 个 整数 值 : 0, 士 1, …. 


设 
| 1 а 
一 1161 — 
P2a+1 (t) = Ее" 1 +24 ( + Уи) . 
仍 仿照 拉 普 拉 斯 , 证 明 
1 f7 V3 
PS, =0 => j Pa а ~ ——, п . 
{ ) т Јо +1 (В 27(a + 1)п оо 


特别 , 对 于 a = 1, 即 对 于 & 取 3 个 可 能 值 -1,0,1 的 情形 , 证 明 


Р{5, = 0} ~ 


п > ОО. 


V3 
2 тп’ 
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612. 泊 松 定理 的 收敛 速度 
1. 泊 松 定理 中 收敛 速度 的 估计 设 &1,&2,… ,én 是 独立 伯 努 利 随机 变量 , 取 1 
和 0 两 个 可 能 值 , 相应 的 概率 为 
Pi{éx — 1} — Pk, Р{&к — 0} — ак (= 1 — рк), 1 < Е < п. 


w В — (Во, Ва, · · · ‚ Въ) 为 和 S = Eite + 的 二 项 分 布 的 概率 , 其 中 Вх = Р{5 = 
к}. В П = (По, HI ……) 是 参数 为 和 的 泊 松 分 布 , 其 中 


A* 》 
Hk = zre „k >0, 


如 第 一 章 86 第 4 小 节 指 出 的 , 若 
ру 一 … = Pn, А = пр, (1) 


则 对 于 В 和 II 间 的 变 差 距离 有 如 下 估计 (普罗 截 罗 夫 ): 


ы ^ 
IB -1| = > |B ~ | < Ср = СКА) х 5, (2) 
k=0 
其 中 Вп-+1 = Bn+2 一 = 0, 而 
С: (Л) = 2 min(2, А). (3) 


ХТ У рк = А (ЇН р, 未 必 相 等 ) 的 情形 ， 卡 姆 (L. Le Cam) 证 明 , 得 


lB -H| = Уу |8, - п < C(A) ‚шах рь, (4) 
k=0 тт 
其 中 
С,(А) = 2 min(9, А). (5) 
由 下 面 将 证 明 的 定理 可 得 估计 
|B — Ц| < Сз(А) max рь, (6) 
其 中 
Сз(Л) = 2А. (7) 


虽然 当 入 > 9 时 С (Л) < GA), 即 估 计 (6) 比 估计 (4) 差 , 但 是 我 们 还 是 证 明 
(6) 式 , 因为 估计 (6) 本 质 上 是 初等 的 , 然而 要 得 到 估计 (4) 中 “ 较 好 的 ”常数 , 证 明 
的 技术 将 复杂 得 多 . 
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2. 估计 式 (6) 的 证 阴 
定理 А = У Pk, 则 


|B -щ = > |В„—П|<2у р. (8) 
k=0 k=1 


证 明 AH B 和 工 中 每 一 个 分 布 是 相应 分 布 的 卷 积 : 


В = В(р!) * В(р2) *···* В(рь), 


H = П(рі) ж Ц(р2) ж -x П(рь), (9) 


理解 为 相应 分 布 函数 的 着 积 ( 见 第 二 章 88 第 4 小 节 ), 其 中 Bip) = (1 pr pk) 是 
参数 为 рь 的 在 点 0 和 1 的 伯 努 利 分 布 , 而 П(рь) 是 集中 在 点 0,1,… 参数 为 рь 的 


不 难 证 明 , Ж B -可 以 表示 为 : 


其 中 

ШП 
Fi -一 П{(р2} * © 
Fr = В(р!)*.- 
En = В(р,)*... 


В-П=В,+...+8,, (10) 
Rx = |В(рк) — Пь(рк)] * Fk, (11) 


‚ ж В(рк-1) * П(фк-+1) ж... П(р, ), 2 < k < п 一 1, 


* B(pn—1). 


由 于 89 的 练习 题 6, 可 见 |, | < IBO) — П(рь). 因此, 由 (10) 式 , 立即 得 


(В — Ш] < |B (pk) — П(рь) |. (12) 


注意 到 59 的 (12) 式 , 可 见 计算 变 差 | В(рь) — poll 并 不 困难 : 


\Вфь) -Il = 10 一 me 二 一 Peer 和 2 


ple- Pk 


122 


= |(1—рк)—е ?*| + [рк — pre Р*|+1—еР* — ре? 
= 2рк(1—е ®™*) < 2р2. 


TÆ, 由 (12) A, 得 所 要 求证 明 的 不 等 式 (8). О 


系 由 于 


可 见 佑 计 式 成 芯 . 


7› 
X | 2 

Pk <А шах рк, 
а І<К<п 


513. 数理 统计 的 基本 定理 f а: 


3. 练习 题 
1. ПЕ 99 24 Ак — — ln(l — Pk) 时 


|8 (рь) — П(рь)|| = 2(1 ~ e7% ~ Лье-^*) < А, 


因而 |B -H| < У. 
2. 证 明 表 达 式 (9) 和 (10). 


513. 数理 统计 的 基本 定理 


1. 数理 统计 与 概率 论 的 关系 ”在 第 一 章 87 中 对 于 伯 努 利 概 型 , 曾 介 绍 过 根据 
对 随机 变量 的 观测 , 估计 “成 功 ” 的 概率 , 以 及 为 其 置信 区 间 的 问题 . 对 于 在 一 定 意 
义 上 研究 概率 论 的 反问 题 的 数理 统计 来 说 , 这 些 问题 是 典型 的 和 基本 的 . 例如 , 假如 
概率 论 的 基本 兴趣 是 , 对 于 给 定 的 概率 模型 , 计算 各 种 概率 指标 (事件 的 概率 , 随机 
元 的 概率 分 布 及 其 各 种 特征 , 等 等 ), 则 在 数理 统计 中 , 我 们 的 兴趣 在 于 : 如 何 根据 统 
WAE (以 一 定 的 可 靠 性 ) 揭示 相应 的 概率 模型 , 使 之 在 经 验资 料 统计 性 质 的 框架 内 ， 
最 好 地 与 生成 这 些 统计 资料 的 随机 机 制 的 概率 性 质 一 致 

下 面 引用 的 ( 格 里 汶 科 [B. И. Гливенко], KEA, 柯 尔 莫 戈 洛 夫 和 斯 米尔 诺 夫 
ІН. В. Смирнов|) 结果 , 理应 称 为 数理 统计 的 基本 定理 , 因为 有 关 成 果 不 但 商定 了 
由 统计 资料 提取 (关于 被 观测 随机 变量 的 分 布 函数 的 ) 概率 信息 的 原则 可 能 性 , 而 且 
可 以 估计 经 验资 料 与 各 种 不 同 的 概率 模型 拟 合 程度 . 

2. 分 布 函 数 与 经 验 分 布 函数 的 拟 合 定理 B Euin o in 是 定义 在 某 一 概率 
空间 (0,.#, P) 上 的 独立 同 分 布 随机 变量 序列 , 而 F = Е(т), гє К, 是 其 共同 的 分 
MA (Р(х) = Р{& < zj) 对 于 每 一 个 N > 1, 定义 经 验 分 布 函 数 : 


М 
Ем(х; ш) = Уа <z), LER. (1) 
К=1 


根据 大 数 定律 (83 定理 2), 对 于 每 一 个 zx e R, 有 
Fy(z;w) > F(z) N >œ, (2) 


即 P- 依 概 率 收敛 . 
由 第 四 章 83 的 定理 1 和 2, 可 见 对 于 每 一 个 z є Е, М М 一 оо 时 , 依 概 率 1 收 
A, 有 
Fy(z;w) > Е(х), (Р-а.с.). | (3) 


这 里 有 非常 好 的 、 更 强 的 结果 : (3) 式 中 的 收敛 关于 zx 是 一 致 的 ， 
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定理 (MERRIER) ”在 上 述 条 件 下 , 随机 变量 
Рм(ш) = ѕир Ем (ш) – F(z)| (4) 
依 概率 LAT 0: 
P{lim DN(w) = 0} = 1. (5) 
证 明 设 @ 是 及 中 有 理 数 的 集合 . 显然 


sup | 了 Ntriw) — Е(г)| 
тє) 


是 随机 变量 . 由 于 


Рк (ш) = вир Рм (2; ш) — Е(х)| = sup Рм (т; ш) — Е(г)|, 
т ге 


可 网 Рх (ш) 也 是 随机 变量 , 因此 它 有 概率 分 布 . 
ИШ М > 2, ШК=1,2,...,М-1. 定义 数列 


тмк = min{z € R: k/M < Е(х)}, 


同时 设 мо = 一 00, XM,M = +оо. 
假设 = є [rmk тм), 而 且 [zwyr,TMk41) # ©. ЖА, 显然 
Ем(т; и) — F(x) < FN(TMk+1 — 0) — Р(=м,к) 
= [Fn (zm, k+1 — 0) — К(жм,к+1 — 0)] + [Е (ямка — 0) - Реми) 
< FN(TMk+1 — 0) — F(ZM,k+1 —0) + >. 
类 似 地 , ВО r E [rmk TMk) 有 
Ем(т; ш) — F(x) > FN(TMk; и) - F(TMEk) 一 T 
因此 , 对 于 每 一 个 x є В, 
|Ём(®;ш) — Е(т)| 
max {|FN(ZM,k; и) — Е(тм.к)|,|Ем (хм — 0; м) — Е(тми — 0)|} + 二 


< 
т 1<&<М-1 


1<1<М-1 
TĒ, 
lim sup |Fn(z;w)— Е(х)| < Р (Р — а.с.). 
由 于 М 的 任意 性 , 由 此 可 得 结论 (5). 口 


格 里 汶 科 和 次 泰利 定理 , 是 数理 统计 的 基本 定理 之 一 . 前 面 已 经 指出 , AERA 
定 了 由 根据 对 独立 同 分 布 随机 变量 &1,&2,.…… 的 观测 结果 , 检验 这 些 变量 的 分 布 函数 
是 否 恰好 是 函数 Р(х). 换 句 话说 , 定理 保障 建立 “理论 与 试验 ”一 致 的 可 能 性 . 
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3. 经 验 分 布 函 数 对 分 布 函 数 的 偏差 Оу (о) 和 М 与 F) 无 关 REREN 
科 和 欣 泰 利 定理 有 所 指出 的 重要 性 , 然而 它 并 未 回答 , 关于 “ 当 М 一 оо В, 偏差 变 
Е DN(w) KAF 0 的 速度 ”问题 . 因而 , 不 能 推断 , 独立 观测 结果 与 “ 它 (观测 结果 ) 
НЕ НЕЕ F = F(x), x e R” 这 一 论断 的 似 然 程度 . 

由 中 心 极限 定理 可 见 , 对 于 每 一 个 国定 的 Ze 下 ,有 


УМ [Ех (т;ш) — F(z)] = №0, F(z)[1 — F(z))), (6) 


说 明 随机 变量 VN[FwW(x;w) — F) 收敛 于 均值 为 0, 方差 为 F(z)[1 — Fe) HES 
分 布 . 
当然 , 更 重要 的 是 得 到 (一 致 ) 统计 量 


DN{(w) = sup IFN(x;w) — Е(х)|, 


或 相近 的 统计 量 
PN(w) = вир[Ем(азш) — Е(т) (7) 


的 极限 分 布 . 

在 求 这 些 统计 量 的 极限 分 布 时 , КШ ( 柯 尔 莫 戈 洛 夫 ) 的 研究 结果 是 关键 . 

5| 理 1 HFAA AA F= F(x) Ж. 

对 于 每 一 个 N > 1 和 一 切 ЕСЕ, 统计 量 DN(w) 的 概率 分 布 是 同一 分 布 . 对 于 
ЖЛЕ (о), 有 类 似 的 结果 . 

证 明 Bm, o 是 独立 同 分 布 随 机 变量 序列 , 且 在 [0,1] EE (U = U(x)) № 
从 均匀 分 布 : Р{т <т}=х,0<т<1. 

由 于 对 于 连续 函数 Р = Р(х), 统计 量 sup, |Ру(х; ш) — Fa 的 分 布 , 与 随机 变 
Ш sup, [Un (xz;w) — U(x) 的 分 布 相同 , 其 中 

| Е 
Ом(2; ш) = у 2.109000) < х) 

是 随机 变量 n,- ,nw 的 经 验 分 布 函数 , 由 此 可 以 得 到 引 理 的 结论 . 

以 4 表示 分 布 函数 F = Р(х) 是 常数 的 区 间 = [a,b], -0 < a <b < о, 的 集 
в, ВН P{& € Тү =0. 


DN(w) = suplFN (x;w) — Е(т)| = sup |Fy (x;w) — F(x). 
тек хЕА 
若 引 进 随机 变量 j = F(&k) 及 其 经 验 分 布 函数 


N 
1 ~ 
Ом(2;ш) = 55 У `1( (ш) < т), 
К=1 
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则 对 于 任意 жє А, 
Dw(F(z)iw) = = D w)) < Е(т)) = Уи (Erw) < х) = Ём(т;ш), 


因为 对 于 这 样 的 z, {w : &&(ш) < ж} = {w : Е(&(ш)) < Е(т)}. 
这 样 
Рм(ш) = зар |Ем(т; и) — Е(т)| = зар [Un (Е(2); ш) – F(x) 
TEA TEA 


= sup|Un(F(z);w)- F(z)| = sup IUN(y;w)—Y 
тЕЮ УЕ (0,1) 


Р—а.с. 
=F sup |UN(y;w)— yl, 
уЄ[0,1] 


其 中 最 后 一 个 等 式 (Р – а.с.) 成 立 , 因为 
P{m =0}=Р{ = 1) = 0. (8) 
现在 证 明 , 随机 变量 п, (在 [0,1] 上 ) 均匀 分 布 . 为 此 记 
rly) =inf{r € R: F(x) 25у), ye(0,1). 
ЖА, 有 Е(т(у)) = у,у є (0,1), В. 
Р < y} =Р{Е(&1) < y} =Р{Р(&,) < F(z(y))} 
= Р4& < г(у)} = F(z(y)) = у. 


由 此 连同 (8) 式 就 证 明了 , 随机 变量 7, (因此 пр, ўз, .. 也 都 ) 在 [0,1] 上 均匀 分 布 . 
м 
4. 统计 量 DN(w) 和 Рр (о) 的 极限 分 布 ”上面 的 引 理 1 表明 , 为 (在 对 观测 结 
Ж éni o 的 连续 分 布 函数 F = F(z) ЖЕН) 当 М 一 о 时 求 统 计量 Dyw) 和 
О (о) 的 极限 分 布 , НЕЕ 2,5... 是 独立 同 分 布 在 [0,1] 上 均匀 分 布 的 随机 变 
量 序列 . 
HERA N > 1, 并 且 (对 于 每 一 个 wen) 将 变量 i,c. Ех 按 递增 顺序 排 
列 所 得 的 新 变量 (顺序 统计 量 ) 记 作 EN, 00...00 其 中 


(№) — min{é1, &2, .-. ‚ м), е, (20) = тах(&1, &2, . .. ,EN ). 


(两 个 这 样 有 序 变量 相等 的 概率 等 于 0.) 
设 
1 <. 
Un(y w) = 2 Elw) < у), (9) 
天 一 1 
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则 
DN(w) = max |Un (y;w) ~ yl. г (10) 
yYyER 


不 难看 出 , 上 式 右 侧 只 有 在 函数 UN(y;w) ЕЕ 200 EM, ,EW) 上 , 才 可 
以 达到 最 大 值 . 因此 ， 


k N 
Dy (w) = max у — — = ) 


| | (11) 


由 此 可 见 , 为 求 统计 量 Drle) 的 分 布 , 需要 知道 顺序 统计 量 ED) 07... E 的 
联合 分 布 . 

为 求 此 分 布 , 考虑 独立 指数 分 布 的 随机 变量 序列 : соо, :PC >} = ет“, 
220, НЫ 5, =а+.. опр 
引 理 2 2 (=), =... 7) 的 联合 分 布 , 等 同 于 向 量 


f 5 So i SN 
SN+1 уф SN+1 


的 联合 分 布 . 
证 明 一 方面 , 对 于 0<w <... << 


P{E є ау... ,EV Е дум} = S P{ér, Є dyi,.… ‚&км Є дум}, (12) 


其 中 对 整数 (1,…. N) 的 一 切 排列 (ki ,kn) RAE (12) 式 中 及 下 面 使 用 有 些 
随意 的 “微分 ”书写 形式 , 不 过 不 难 赋予 其 确切 的 含义 .) 

在 (12) 式 右 侧 的 随机 变量 独立 服从 [0,1] 上 的 均匀 分 布 . 由 于 (1,:… ,N) 的 一 
切 排列 的 总 数 为 М, 可 见 (12) 式 右 侧 等 于 м dyn. 从 而 , 如 果 (yi, ум) Є 
Ам, 其 中 Ду = {y € [0,1], --. ,умЕ [0,1]:0 < y1 <... <yn <1}, м 


P{E є ау, EN є dyn} = Лау :+ ду. (13) 
如 果 (ит, --- ,yn) é Ам, Ж 
P{E є ау, :-. EQ Е dyn} = 0. (14) 
为 一 方面 , 现在 证 明 同 样 的 结果 


р н) = Nldyi.… dyn, Æ (y ум) Є Ам, 
ON+1i 


0, Æ (у1,: им) E Ам. 
为 此 , 考虑 随机 变量 51,.… , Sny 的 联合 分 布 


ON 
„+ , —— с 
ON+1 
(15) 
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如 来 (Z1… ,ZNA+I) Е Ам+1, 则 


Р{5, Е ах, 52 Е Что, -`. , SN41 Є агу } 


= Р{С1 € dz1, 2 € dz2 — ©, ,CN+1 Е мі — хм} 
=е *1е (72-71)... е_ (*^+:-2м) 451 4х0 атм 
= е 7^+1ат1ах2.-.Ахмут. (16) 


如 果 (zx1,… ,ZN+41) É Ang W 
Р{5, Е 4х1, 52 Е ахо, ... , SN+1 Є ахм+1 } 一 0. (17) 


因为 Юму = С +: См, 其 中 Сз, ,CGN+1 是 独立 指数 分 布 随机 变量 ДІ] 
(223 3) 
Р{5 cd } = түе INT (18) 
N+1 LN+1 М ®М+1. 
由 (16) 和 (18) 式 , 可 见 对 于 (x1,… ,XN+1) Є Ам, 有 


Р{ 5, Е ахі, ..., Sy Є атм эм Є ахмуз } 一 Маул аху. (19) 


WR (zx1,… ,XN+41) E Anp W (19) 式 的 左 侧 等 于 0. 


结果 , 得 
zE Е dyi, … ， a € дум Эн 9 
_ п саум, Ж (Yy, ,YN) Е Ам, 
0, 车 (у, `` ум) ¢ Ам. 
0-54 см: 的 独立 性 , 可 得 表示 式 (15) 的 正确 性 , 将 其 与 (13) 和 (14) A 
较 , 便 可 证 明 引 理 2 的 结论 . Е C 
由 引 理 2 可 见 
УМОк (и) -< VN max 一 ~ , (20) 
其 中 “二 ”表示 左 , 右 两 侧 随机 变量 的 分 布 等 同 
由 (20) 式 , 有 | 
а N Sk — k k SN+1 — М 
VNDN(w) == Sw Шах ом т | (21) 


对 于 研究 当 М 一 о 时 统计 量 VN Drw) 的 极限 性 质 , 关系 式 (20) 非常 方便 . 
由 于 N/Sn41 > 1 (P-a. с.), ЕЕ [0,1], Ж 
ом — [Nt] 


N 
Xi =N 


5 
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lim P{VNDN(w) < у} = lim р] sup х9 — Х| < у}. 
М— со № со 0<#<1 


这 样 , 关于 统计 量 VNDN(w) 的 极限 分 布 问题 , 归结 为 当 М 一 о 时 研究 统 
计量 
sup |X – ЕХ) 
0<+#<1 
的 极限 性 质问 题 . | 
根据 中 心 极限 定理 (54 定理 1), 对 于 每 一 国定 的 te [0,1], 随机 变量 ХО” 的 极 
限 分 布 , 等 同 于 随机 变量 В, 的 极限 分 布 一 一 参数 为 ЕВ, = 0 M ЕВ? =t 的 高 斯 
分 布 . | 
实际 上 , 还 可 以 得 出 更 多 结论 . 具体 地 说 , 考虑 第 二 章 513 引进 的 布朗 运动 ( 维 
纳 过 程 ) В = (Bi)ocigl: 这 样 的 过 程 在 第 二 章 $13, 是 作为 В, = 0,EB = 0 H 
协 方差 矩阵 为 ЕВ.В, = min(s,t) 的 高 斯 过 程 引进 的 ， 于是, 结果 表明 , 根据 第 七 
章 88 定理 1 的 注 3, 随机 变量 (XA, XA) 的 联合 分 布 POW) ，, 弱 收 敛 于 随机 
变量 (Baso, Ba) 的 联合 分 布 Р... (关于 弱 收 敛 见 51,2.) 自然 想到 , 统计 量 
SUPo<:<1 х9? — tX] 及 其 分 布 ， 收敛 于 统计 量 ѕиро<г<1 |B: — В. | 及 其 分 布 . 
一 般 说 来 , 有 限 维 分 布 РА) a > Pia0 <<... < Ц = 1,602 1, ИИ 
9 ( 即 按 51 练习 题 3 的 记号 , PM S P) 对 于 泛 函 


РХ) = sup XE -tX 
0<#<1 


的 分 布 收敛 于 泛 本 
J00 = р Me = eal 


的 分 布 还 不 充分 , 其 中 Х, = В.(0<+#< 1) 是 布朗 运动 . 

不 过 , 对 于 所 考虑 的 情形 确实 是 这 样 , 这 由 以 下 的 讨论 可 见 . 

过 程 X(N) 的 轨道 属于 空间 р = Пү, 1), ША х 的 轨道 属于 空间 С = 
Со, Пс D ( 见 第 二 章 52 第 6,7 小 节 ). 在 空间 р + у Е Е р 
(在 [5, 第 三 章 ] 中 p 记 作 do, 在 [87, 第 四 章 ] 中 p 5), 度量 空间 (Б, @ р) 关于 p 
是 完全 可 分 空间 . (第 二 章 82 第 7 小 节 定 义 的 , 以 “斯 科 罗 霍 德 度量 ”4d 为 度量 的 空 
间 (2, 8, р) 仅 是 可 分 的 , 而 对 于 以 后 在 第 三 章 $2 中 的 应 用 普罗 堆 罗 夫 定 理 还 需要 
“密度 ") 

关于 上 度量 р, ZB у(х) = supogtei [Tt — tz1| (显然 与 SUPogt<1 Ж — tx] 相等 ) 是 
连续 的 , 其 中 z = (гроза © D. 从 而 为 证 明 收 敛 性 ОХ) & Ох) ( 即 按 分 布 收 
Ж), 只 需 证 明 (空间 (2,8, р) 的 ) ЗИ РЧ) 5 р (练习 题 2). 
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由 普罗 霍 罗 夫 定 理 直 接 引进 的 , 证 明 这 一 收敛 性 的 一 般 方法 , Е РЖИ РЖ 
Ж ( 见 练 习题 3, 以 及 $1 练习 题 3 的 记号 ): 


(РУ 5 P e {РФ} 的 密度 ] 6 ZoD) 是 定义 类 |) = (РФ) 5P). (22) 


(这 里 , HoD) 是 柱 集 类 ;81 第 5 Јр.) 

在 所 考虑 的 情形 下 , 是 有 限 维 分 布 的 收敛 РО? 5 P, 而 柱 集 类 AD) 确实 是 
收敛 的 定义 类 (第 二 章 82 第 7 小 节 ). 当然 , 在 运用 蕴涵 关系 (22) | 最 困难 的 是 验 
证 所 考虑 的 测度 族 {РС} 是 稠密 的 . 这 样 的 验证 基于 包含 在 测度 族 定义 中 ($2 的 
(1) 式 ) 空间 D К НЕЛЕ, 而 这 已 经 超出 了 本 书 的 范围 . (相应 的 证 明 , 参见 
[5, 定理 15.2],[87, 第 六 章 , 3.21]). 

在 这 些 讨论 的 最 后 我 们 指出 , 还 存在 证 明 收 敛 (ХС) S у(х) 的 如 下 途径 . 间 
断 过 程 X(N) 可 以 用 如 下 连续 过 程 X(N) вн, 其 中 对 于 任意 е > 0 和 一 切 we 0, 
以 及 充分 大 的 N, A 

зир |Х (w) — ХЕ <e, 


只 需 证 明 (XM) S у(х), 而 这 略微 简单 , 因为 这 时 可 以 不 涉及 空间 D, 而 涉 
тү С. 在 空间 C 中 ， 全 今 对 于 所 考 让 的 情形 “稠密 性 ”准则 容易 验 
EG 第 二 章 ], [87, 第 六 章 ]). 
柯 尔 莫 戈 洛 夫 分 布 м B? = B, 一 +B1(0 < t < 1). 这 一 过 程 是 高 斯 过 程 ， 
Ве = 0, EB°? = 0, 而 ЕВ°В° = min(s,t) — st. 在 第 二 ж $13 第 7 小 节 , 此 过 程 曾 经 
称 做 条 件 维 纳 过 程 或 布朗 桥 . 
于 是 , 由 以 上 的 讨论 得 出 这 样 的 结论 : 


lim P{VNDN(w) < y} = Р { вир |В+| < у | (23) 
六 一 oo 0<+#<1 


其 中 B° = (В?)о<ес1 是 布朗 桥 . 
由 布朗 运动 的 理论 (例如 , М, [5; 第 二 章 , 811]) 知 , 分 布 


K(y) = Р! зар |B°| < у, 
0<:<1 
称 做 柯 尔 莫 总 洛 夫 分 布 其 中 


К(у) = > (-1)^*е-2%, уро. (24) 


天 一 一 CO 


这 样 , 有 如 下 结果 (НЮ) 


Jim P{VNDN(w) < у} = К(у), у>0. (25) 
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类 似 的 讨论 , 可 得 


lim .P{VND} (w) < у} = Р{ sup В, < 小 (26) 
全 一 oo 0<{<1 


统计 量 зирох,<: В? 的 分 布 , 比 supo<i<l |В?| 的 分 布 简单 . 统计 量 зирос,<, В? 
的 分 布 为 ( 见 [5; 第 二 章 , 611]): 


0<:<1 

有 如 下 结果 (н. В. 斯 米尔 诺 夫 ) 
„іт P{VYND} (о) <ур= 1-е, уро. (28) 
6， 试 验 与 实际 的 一 致 性 准则 ”现在 讨论 , 由 (25) 式 的 结果 (其 中 Kly) 决定 于 


(24) 式 ), 可 以 建立 试验 与 实际 一 致 性 的 准则 . 为 此 , 我 们 首先 给 出 分 布 函数 K(y) 的 
一 张 不 大 的 数值 表 : 


0.000 001 
0.000 009 
0.002 808 


0.036 055 
0.135 718 
0.288 765 
0.455 857 
0.607 270 
0.730 000 


0.822 282 
0.887 750 
0.931 908 
0.960 318 
0.977 782 
0.988 048 
0.993 828 
0.996 932 
0.998 536 
0.999 329 


| 0.999 705 


0.999 874 
0.999 949 
0.999 980 
0.999 992 5 
0.999 997 4 
0.999 999 0 
0.999 9997 | 
0.999 999 90 | 
0.999 999 97 


如 果 N 充分 大 , 则 可 以 认为 К(у) 给 出 P{VNDy (w) < у} 值 的 很 好 的 近似 值 . 

自然 , 如 果 按 6, (и), --- ,énN(w) 的 经 验 值 计 算 的 变量 VNDw(w) 的 值 充 分 大 , 则 
应 当 否 定 大 于 “这 些 变量 的 (假设 的 ) 概率 分 布 是 (连续 型 ) 分 布 函数 F = F” НЧ 
假设 . 

由 上 面 表 中 的 数值 , 可 以 得 出 关于 “这 样 得 到 的 结论 的 可 靠 程度 ”的 印象 . 例如 ， 
车 VNDN(w) > 1.80, 则 (由 于 К(1.80) = 0.996 932) 可 以 认为 事件 {VNDw(w) > 
1.80} 的 概率 大 致 等 于 0.003 068(= 1.000 000 一 0.996 932). 假如 认为 “具有 这 样 小 的 
ЖЖ (= 0.003 068)” 的 事件 实际 上 出 现 的 可 能 性 很 小 , 则 可 以 得 出 结论 : 关于 “分 布 
为 Р{& < т} = F(z)” 的 假设 应 当 和 否定 , 其 中 恰好 是 按 函数 下 (zx) 计算 的 VNDw(w) 
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ИЕ. 而 假如 VN DN(w) < 1.80, 则 (根据 大 数 定律 ) 可 以 认为 在 000 000 次 这 样 的 
情形 下 , 大 致 有 996 932 次 “经验 与 理论 ”是 一 致 的 . 

Е 需要 着 重 强 调 , 在 运用 基于 “ 柯 尔 俱 戈 治 夫 分 布 和 斯 米尔 席 夫 分 布 ” 的 一 
致 性 准则 时 , (用 于 检验 的 ) 分 布 函数 F = F) 是 完全 确定 的 . 譬如 , 只 知道 分 布 函 
Ж F = F(x) Ж РУТЕ G(x:9) 的 某 个 参数 族 С = {С = G(X;0);0 Е Ө}, 而且 
С(2;0) 依赖 于 参数 ө є Ө. 这 时 , 强求 使 用 如 下 检验 “经 验 数 据 与 符合 真实 分 布 函数 
FEP 21: 首先 根据 М 个 观测 值 建立 参数 Ө 的 估计 , 然后 计算 


Dy (w) = VN sup | FN (2542) — Gl; ôn (w))|, 


并 且 像 前 面 的 例子 一 样 采取 相应 的 决定 . 遗憾 的 是 , 分 布 函数 См (т; Ow (w)) 是 随机 
的 , 而 统计 量 Dw (w) 一 般 不 再 是 柯 尔 莫 戈 洛 夫 分 布 . | 

因此 , 在 这 种 情形 下 , 关于 如 何 检验 假设 :已 С, 参阅 [132]. 

7. 练习 题 | 

1. ПЕНЯ (18) 式 . 

2. 证 明 , 如 果 (在 空间 (D, 多,p) H) РО) 5 P, ду XM % у(х). 

3. ПЕВНА Э Ж (22).. | 


图 书 文献 资料 


(第 一 章 ~ 第 三 章 ) 


在 托 德 汉 特 (І. Todhanter) 的 专著 [68] P, 陈述 了 拉 普 拉 斯 之 前 概率 论 的 历史 . 
发 表 在 《论文 集 》1[45] 中 的 , НЕТ (О. В. Шейнин ) 论文 中 , 介绍 了 
从 拉 普 拉 斯 到 19 世纪 末 的 时 期 . ТЕЙТ УЛ (М. S. Stigler) 的 书 [122] 中 , 相当 详 
细 地 介绍 了 1900 年 以 前 的 概率 论 和 数理 统计 史 . 在 迈 斯 特 罗 夫 (Д. Е. Майстров) 
的 书 [44] F, 概率 论 的 历史 , 从 概率 论 出 现 一 直 叙 述 到 20 世纪 30 А. 在 格 涅 坚 科 
的 教科 书 [15] 中 有 概率 论 历史 简介 . 关于 概率 论 许多 术语 的 起 源 , 可 参见 亚历山大 
P (H. В. Алексадрова) [2]. 

关于 概率 论 的 基本 概念 , 参见 下 列 作 者 的 书籍 : МЖК [32], 格 涅 坚 科 
[15], 博 罗 夫 科 夫 [7], 格 涅 坚 科 和 辛 钦 [17], А. М. 亚 格 洛 姆 和 И. М. УЖ (А. 
М. Яглом 和 И. М. Яглом ) [83], ЕЯ Я РЯ [56], 手册 [65] 以 
及 评 自 英文 的 书 : Я) [69], ZS (IO. Нейман) [51], ЖЖ (М. Гобуе) [42], HEA (J. 
L. Doob) [20]. 这 里 还 要 指出 包含 大 量 概率 论题 目的 梅 沙 尔 金 (Л. Д. Мешалкин) 
和 基辅 “高 等 学 校 ” 出 版 的 习题 集 [46| 和 [67|®. 

在 编写 这 一 部 教学 参考 书 时 , 作者 使 用 了 各 种 不 同 的 文献 . 在 英文 教材 和 教学 指 
南 中 , 我 们 特别 指出 如 下 图 书 : 布雷 曼 (L. Breiman)[8], 比 林 斯 利 (P. Billingsley) [106], 
МАГ (В. В. Ash) [80],[81], 阿 什 和 加 德 钠 (М. Е. Cadner) [82], 达 雷 特 (В. Durrett) 
[108] [110], 229% (J. Lamperti) [37]. 本 书 的 作者 认为 这 些 文献 是 成 功 传授 知识 的 
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Ж ўа. 

关于 概率 论 和 数理 统计 方面 的 有 益 的 参考 资料 , 读者 可 以 利用 《苏联 大 百科 全 
书 》,《 苏 联 小 百科 全 书 》 和 《数学 百科 人 全书》 [121], 以 及 百科 全 书 :《 概 率 论 和 
数理 统计 》[125]. 

于 1956 年 创刊 的 杂志 《概率 论 和 数理 统计 》( 出 版 社 “Hayka”), 是 俄罗斯 出 版 
的 、 概 率 论 和 数理 统计 方面 的 主要 的 刊物 | 

由 全 联盟 科学 与 信息 研究 所 (莫斯科 ВИНИТИ) (йл) ( (Рефератив- 
ный журнал) ), 刊登 俄罗斯 以 及 其 他 国家 发 表 的 “概率 论 和 数理 统计 方面 ”论文 的 
摘要 . 

有 关 概 率 统计 大 部 分 实际 应 用 需要 数值 表 , 可 以 使 用 博 利 舍 夫 (Л. Н. Большев) 
ЖЖ Ж (Н. В. Смирнов) 编著 的 《数理 统计 表 》[6]， 在 当前 广泛 使 用 电 
子 计算 机 技术 的 条 件 下 ， 最 好 利用 统计 软件 MINITAB，SPSS, ... 人 们 广泛 采用 
“Mathematica®” (WB [126)). 
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51. 关于 概率 模型 的 建立 , 参见 柯 尔 莫 戈 洛 夫 的 论文 [31], 格 涅 坚 科 的 书 [15]. W 
及 “ 按 箱 分 配 质 扣 ” 类 型 的 问题 大 量 的 资料 , 参见 科 尔 钦 (В. Ф. Колчин), 塞 伐 斯 
契 雅 诺 夫 和 奇 斯 佳 科 夫 (I. В. Чистяков) Ё [34]. 

32. 关于 在 统计 物理 中 出 现 的 概率 模型 (特别 , 一 维 伊 金 格 (Ezenger) 模型 ), Я 
w, 可 以 参见 伊西 哈 尔 (А. Исихар) 的 书 (25). _ 

83. MHR ARAE, 是 数理 统计 中 所 谓 贝 叶 斯 方法 的 基础 . 例如 , 可 以 参见 
德 格 鲁 特 (М. Н. deGroot) [18] 和 扎 克 斯 (S. Zacks) [22]. 

84. 关于 随机 变量 及 其 概率 特征 , 可 以 参见 习题 集 [46] 和 [67]. 

$5. J. 们 努 利 引进 的 大 数 定 律 的 组 合 证 明 , 例如 可 以 参见 [69,T. 1. 关于 大 数 定 
律 的 试验 解释 , 见 柯 尔 英 戈 洛 夫 的 论文 [31]. 

66. 有 关 局 部 和 积分 定理 , 以 及 泊 松 定理 中 的 偏差 , 见 博 罗 夫 科 夫 [7] 和 普罗 堆 
ЯУ ЖС [54]. 

$7. 这 里 叙述 的 内 容 , 是 通过 伯 努 利 概 型 的 例子 , 演示 某 些 基本 概念 和 数理 统计 
方法 . 关于 详细 资料 , 例如 参见 克拉 默 (Н. Cramér) [35] 和 范 德 瓦 尔 登 (B. L. van дег 
Waerden) [10]. 

38. 通过 考虑 关于 分 割 的 条 件 概 率 和 条 件数 学 期 望 , 可 以 更 好 地 掌握 下 面 将 要 引 
进 的 , 较为 复杂 的 关于 o 一 代数 的 条 件 概率 和 条 件数 学 期 望 的 概念 . 

$9. 实际 上 , 这 里 所 引进 的 “破产 问题 ”的 形式 拉 普 拉 斯 就 已 经 考虑 过 . 关于 这 
一 问题 亦 可 参见 文集 [45] 中 格 涅 坚 科 和 会 伊 宁 的 论文 . 在 费 勒 的 书 169,T.I] 中 有 该 


中 中 译本 :《 数 学 百科 全 书 》, 第 一 卷 ~ 第 五 卷 , 科学 出 版 社 , 1994 一 2000 F, 北京 . 一 一 ВФ 
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问题 的 丰富 的 资料 . 

610. 这 里 的 内 容 基 本 上 是 按 费 勒 的 书 [69] 叙述 的 . 在 论文 19] 中 有 关系 式 (10) 
和 (11) 的 证 明 . 

611. 在 杜 布 的 书 [20] F, 详细 地 前述 了 蒜 论 . 例如 可 以 在 费 勒 的 书 [69, 工 J PER 


”到 “表决 ”定理 的 其 他 证 明 . 


$12. 马尔 可 夫 链 大 量 资 料 包 含 在 下 列 书 中 : 费 勒 [69,Т1, 邓肯 [21], ЕНЛИ 
У (А. П. Юшкевич), #3 [75],[120], 95722 (Д. Revuz), 凯 麦 尼 (J. С. 
Kemeny) Яя Ж (J. L. Snell) [27], 萨 雷 姆 萨 科 夫 (Т. А. Сарымсаков) [61], 西 拉 
Н == (С. X. Сираждинов )[64). ЖЖЖИ (Б. А. Севастьянов) 的 专 
ж [62] 《分 枝 过 程 》. 
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81. 关于 柯 尔 莫 戈 洛 夫 公理 化 体系 见 [32]. 
62. 关于 o 一 代数 的 资料 , 亦 见 下 列 图 书 : 柯 尔 莫 戈 洛 夫 和 福 明 (С. В. Фомин) 
[33], 奈 维 尤 (1. Neveu) [49], 布 赖 曼 [8], 阿 什 [81]. 
53. 卡拉 秦 奥 多 里 定理 的 证 明 , 参见 下 列 书 : НН (М. Loéve) [42], 哈 尔 默 斯 
(Р. В. Halmos) [70]. 
84 ~ 85. 在 哈 尔 默 斯 的 书 [70] 中 大 量 关 于 可 测 函 数 的 资料 . 
56. АМ, РЯ: М КИН [33], 哈 尔 默 斯 [70], Ш [81]. 在 这 些 
书 中 还 有 拉 东 — 尼 科 过 姆 定理 的 证 明 . 有 时 , 把 | 
2 
P{lé| > =} < 全 
称 做 切 比 雪夫 不 等 式 , 而 把 
| Е)" 


Р(612=} < —2- г> 0, 


称 做 马尔 可 夫 不 等 式 . 

67. 关于 с 代数 的 条 件 概率 和 条 件数 学 期 望 的 定义 , ВНК 
[32]. 在 布 赖 最 [8] 和 阿 什 [81] 的 书 中 , 有 所 考虑 问题 的 广泛 资料 . 

58. 介 见 下 列 图 书 : 博 罗 夫 科 夫 [7], 阿 什 [81], 克拉 默 [35], KEEF [15]. 

89. 柯 尔 介 戈 洛 夫 关 于 “具有 给 定 有 限 维 分 布 过 程 的 存在 性 ”的 定理 见 他 的 专著 
[32]. 关于 图 尔 恰 (1. Tulcea) 定理 , 亦 见 奈 维 尤 [49], 阿 什 [81]. 这 里 进行 的 证 明 遵 循 
[81]. 

810 ~ 11. 亦 见 柯 尔 英 戌 洛 夫 和 福 明 [33], 阿 什 [81], ЖЕЛ [20], 洛 埃 甫 [42]. 

$12. 特征 函数 理论 在 许多 图 书 上 都 有 , 例如 : 格 涅 坚 科 [15], 柯 尔 莫 戈 洛 夫 和 格 
涅 坚 科 [16], 拉 曼 钱 德 兰 (В. Lamanchandran) [57]. 所 介绍 的 矩 和 半 不 变量 的 联系 按 
照 列 昂 话 夫 (В. П. Леонов) 和 施 利 亚 耶 夫 的 论文 [40]. 
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$13. ХМ РЯДЕ: Я ГМ (И. А. Ибрагимов), FIER [24], ТЯ 
[8], PYER (P. Ш. Липцер) 和 施 利 亚 耶 夫 [41], ЖЕ ЖА (С. В. Grimmit) 和 斯 
特 扎 克 (О. В. Stirzaker) [105], 兰 珀 蒂 [37]. 
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61. 关于 概率 测度 和 分 布 的 弱 收 和 敛 , 在 下 列 书 中 有 详细 的 陈述 : 格 涅 坚 科 和 柯 尔 
ARAR [16], ЖЖ [5]. 

32. 普罗 和 替 罗 夫 定 理 在 他 的 论文 [55] H. 

$3. 格 涅 坚 科 和 柯 尔 莫 龙 洛 夫 的 专著 [16] 的 内 容 中 , 有 概率 论 的 极限 定理 证 明 
中 的 特征 函数 方法 . 亦 见 比 林 斯 利 5). 练习 题 第 2 题 包括 : 1. 伯 努 利 大 数 定律 , 泊 松 
大 数 定 律 , 假设 满足 条 件 : &1,é&2,:: 独立 , 有 0 和 1 两 个 可 能 值 , 但 一 般 有 不 同 的 分 
їй, BH Р{&; = 1} =р,Р{& =0}=1-pi,i21. 

54. 这 里 , 在 林 德 伯 格 条 件 成 立时 , 进行 独立 随机 变量 之 和 的 、 中 心 极限 定理 的 
传统 证 明 . 对 照 [16],[92]. 

85. 在 没有 极限 可 忽略 的 条 件 下 , 中 心 极限 定理 成 立 的 条 件 问题 , 曾 引 起 Р. 列 
维 的 注意 . ТЕЙИ Б ЖК (В. М. Золотарёв) 专著 [88] 中 详细 地 介绍 了 , 极限 定理 
理论 在 非 经 典 提 法 下 的 现状 . ЯН (В. И. Ротарь) [96] 给 出 了 定理 1 的 提 法 和 证 
ВВ. 

66. 这 一 节 利 用 了 下 列 图 书 的 资料 : 格 涅 坚 科 和 柯 尔 莫 戈 洛 夫 的 专著 [16], 阿 什 
[81], 彼得 罗 夫 (В. В. Петров])| 53], [92]. | 

бт. ЕЖЕ 一 普罗 上 霍 罗 夫 度 量 , 是 普罗 霍 罗 夫 在 其 著名 的 著作 [55] 中 引进 的 , 定 
义 在 度量 空间 上 的 、 测 度 之 弱 收 敛 的 可 度量 性 的 结果 也 属于 普罗 霍 罗 夫 . 关于 度量 
|P- Plr 参见 达 德 利 (R. М. Dudley) [85] 和 波 拉 德 (D. Pollard) № [93]. 

58. 定理 1 4 РУЖЬЯ EH (А. В. Скороход). 关于 “一 个 概率 空间 方法 ”的 有 
区 资料 , 可 以 在 下 列 文献 在 找到 : 博 罗 夫 科 夫 1999 年 教学 参考 书 , 专著 波 拉 德 [33]. 

89 ~ 10. 我 们 列举 包含 “关于 所 涉及 问题 ”大 量 资 料 的 一 系列 图 书 : 扎 克 德 (J. 
Jacod) 和 施 利 亚 耶 夫 [87], Е [L. Le Cam ] [89], 格林 伍 得 (Р. Е. Greenword) 和 施 
PERR [84], ЗЕЯ (Е. Liese) 和 威 伊 达 (1. Vajda) [90]. 

$11. 在 彼得 罗 夫 的 专著 [92] 中 ， 有 关于 中 心 极限 定理 收敛 速度 估计 的 大 量 资料 
所 引用 的 贝 里 和 埃 森 定理 的 证 明 , 包含 在 格 涅 坚 科 和 柯 尔 莫 戈 洛 夫 的 专著 [16] Н. 

$12. EAEE ENS (І. L. Pressman) 的 文章 [94]. 

313. 关于 数理 统计 的 基本 定理 的 补充 资料 , 参见 [8] [35], [58], [106], [107]. 
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х 分 布 262 ~AR 25 

A 本 质 上 确 界 283 
“表决 ”定理 104 

埃 尔 米 特 多 项 式 ”292 必然 事件 9 

埃 森 不 等 式 ”319 变 差 接 近 程 度 ”392 

按 变 差 收 鳅 ”392 WE 115 

按 分 布 等 价 性 (相等 ) 386 遍历 性 定理 115 

按 分 布 收敛 275, 355, 385 标准 差 39, 254 


АЕА 7 标准 概率 空间 268 
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АЯТ 52005, 53 ЖЖ (条 件数 学 期 望 ) ~ 251 
~ АУЕ 54 | ЙЕЖ ~ 201 

НИЯ 44, 54 不 可 能 事件 9 
~ 系列 357, 363 个 利 博 弈 ”86 

泊 松 — 沙 利 耶 多 项 式 293 不 确定 性 度量 51 

博 雷 尔 不 等 式 334 不 放 回 抽样 6, 7, 20 
„Ж 149 布尔 不 等 式 140 
~ МЖК 178 | HEEF 236 
„Ж 149 布朗 桥 332 
о 一 КУ 277 ~ 运动 330 
~ 空间 241 ~ 运动 的 结构 ”330 

博弈 平均 持续 时 间 82 ~ 运动 过 程 330 

博 泽 — 爱 因 斯 坦 统计 8 C 

不 变 原 理 367 

不 等 式 , ЯБ 319 超 几 何 分 布 20 
RARP ~ 15 测度 , (相互 ) 奇异 的 ”398 
贝尔 ~ 44 测度 , (相互 ) 正 交 的 ”398 
贝 里 — 埃 森 ~ 61, 363, 406 带 符号 的 ~ 391 
DÆK ~ 288 等 价 的 ~ 398 
博 雷 尔 334 概率 ~ 135 
布尔 ~ 140 计数 的 ~ 394 
大 偏差 概率 ~ 68 绝对 连续 的 ~ 163, 204, 398 
范 数 ~ 281 o 一 可 加 的 ~ 135 
ЕК ~ 15 勒 贝 格 ~ 161, 166, 168 
内 贝尔 ~ 16 勤 贝 格 - 斯 蒂 尔 切 斯 ~ 161, 165 
КЕ ~ 202 离散 的 ~ 162, 394 
柯 西 — 布 尼 亚 科 夫 斯 基 ~ 37, 内 ~ 162 

201 奇异 的 和 ~ 164, 165 

柯 西 — WL ~ 37 外 ~ 161 
拉 奥 — 克拉 默 71 完备 的 ~ 161 
ДЕК ~ 201 完全 可 加 的 ~ 135 
闵可夫 斯 基 ~ 202 п 维 勒 贝 格 ~ 168 
切 比 雪夫 ~ (С) 54 ЖАҢ ~ 175 
切 比 雪夫 ~ 46, 200 优 ( 强 ) ~ 463 
УЗ. 334 с- ARAJ ~ 135 


ЕН, ~ 37 有 限 可 加 ~ 134 


原子 的 ~ 284 

在 “0” 连 续 的 ~ 136 
测度 的 绝对 连续 性 204 

~ 开拓 159 

~ ЯН 172 

~ ИЖ 29 
测度 序列 的 临近 性 ”400 

~, 完全 可 区 分 的 ”401 

~, 相互 临近 的 401 

~ 的 完全 可 区 分 性 ”401 
充分 统计 量 246 

~ F o- 代数 (最 小 的 ) 249 

~ F o- 代数 246 
抽 彩 13 
抽样 , 不 放 回 的 ”6, т, 20 

放 回 的 ~ 5,7 
稠密 随机 变量 序列 ”401 
初始 分 布 110 
322 288, 297 


р . 


大 偏差 68 
~ 概率 不 等 式 68 
大 数 定律 ”44, 49, 356 
AZA ~ 48 
НТА ~ 357 
马尔 可 夫 链 ~ 117 
代数 , 集合 诱导 的 141 
o— ~ 135, 141, 182 
随机 变量 诱导 的 ~ 182 
分 割 诱导 的 ~ 183 
~ 的 直 积 150 
带 人 符号 测度 391 
单调 类 142 
~ 类 定理 142 
~ 收敛 定理 194 
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导数 , УЖ — 尼 科 迪 姆 204 
勒 贝 格 ~ 398 

等 价 测度 398 

等 价 随机 变量 281 

邓肯 d- Ж 144 

第 二 博 雷 尔 - 坎 泰利 引 理 284 
~ 类 错误 ”392 | 
~ 类 错误 概率 392 

第 一 类 错误 ”392 
~ 错误 概率 ”392 

ВЕ: — 拉 普 拉 斯 积分 定理 60 

定理 , ПЯТ 25, 241 
NE — ЖЖ. 61, 406 
毕 达 哥 拉 斯 ~ 298 
台历 性 ~ 115 
测度 开拓 ~ 169, 173 
单调 类 ~ 142 
单调 收敛 ~ 194 
RRI — 拉 兽 拉 斯 ~ 60 
对 于 特征 函数 的 波 利 亚 ~ 310 
傅 比 尼 ~ 207 
格 里 汶 科 和 坎 泰 利 ~ 411 
关于 单调 类 的 函数 形式 ~ 148 


关于 条 件数 学 期 望 号 下 收敛 性 ~ 23 


过 程 的 存在 性 ~ 268 
Я] 350 
ЛЯ 一 布雷 ~ 347 
卡拉 泰 奥 多 里 ~ 159 

拉 奥 — 布莱克 韦 尔 ~， 251 
МЖ 一 尼 科 迪 姆 ~ 204 
莱 维 ~ 224 

勒 贝 格 积分 中 的 变量 替换 ~ 206 
勤 贝 格 控制 收敛 ~ 196 
连续 性 ~ 353 
УТ 310 

麦 殉 米兰 ~ 52 
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8 — RE~ 388 
BRIE 333 
WH ~ 62, 357 
m~ 368 
普罗 霍 罗 夫 ~ 349 
图 尔 恰 ~ 270 
维尔 斯 特 拉 斯 ~ 53 
~ — #8 ~ 305 
伍 拉 姆 ~ 352 
向 量 形式 的 正 态 相关 ~ 328 
ЗЕК 一 博 赫 纳 ~~ 309 
因子 分 解 ~ 247 
正 态 相关 ~， 258 
中 心 极限 ~ 353, 356, 359, 364, 369 
定义 类 345 
独立 性 23, 27 
事件 (集合 ) 的 ~ 27, 28, 48 
集合 代数 27, 28, 49 
0 一 代数 ~ 146 
集 系 的 ~ 27 
两 两 ~ 28 
随机 变量 的 ~ 34 
随机 元 的 ~ 187 
线性 ~ 289 
增 量 的 ~ 331 
独立 增 量 过 程 331 
度量 , 范 基 386 
KE — 普罗 霍 罗 夫 ~ 381 
对 数 的 主 值 361 
多 维 超 几 何 分 布 20 
多 项 分 布 19 
多 项 式 
埃 尔 米 特 ~ 292 
伯 因 斯坦 ~ 53 
泊 松 一 水 利 耶 ~ 293 
ВАЗЕ — 沙 利 耶 ~ 293 


定义 类 345 
定义 收敛 类 345 


Е 


二 维 高 斯 密度 257 
二 维 切 比 雪 夫 不 等 式 54 
二 项 分 布 16 

~ 随机 变量 33 


Е 


法 (方法 ), Ж 353 
~, 特征 函数 ”353 
о, 一 个 概率 空间 385, 387 
法 图 引 理 196 
反射 原理 92 
反正 弦 律 92, 97 
ЕВЕ 386 
范 数 281 
半 ~ 281 
方差 39, 254 
”样本 的 ~ 266 
方程 
Эт 273 
后 同 柯 尔 莫 戌 洛 夫 - в ~ 
113 
ЮЛ АЛЕ - в о 112, 
269 
前 癌 柯 尔 英 戌 洛 夫 - BYS 和 ~ 
114 
ЧЕЙ ЕЕ 255 
非 经 典 条 件 369 
非 相 关 性 41, 254 
费 希 尔 信息 量 71 


PERTE 15 
分 布 , х? СЕЛ) 163, 262 
F~ 163 


В ~ 163 
Г ~ 163 

t~ 163, 263 

х ~ 262 

NE 163 

遍历 ~ 117 

伯 努 利 ~ 33 

泊 松 ~ 63, 162 
不 变 ~ 117 

超 几 何 ~ 20 
乘积 ~ 21 
初始 ~ 110 
对 数 正 态 ~ 260 
多 维 ~ 34 

多 维 超 几何 ~ 20 
多 项 19 

二 项 ~ 16, 33 

负 二 项 178 
Ww (Г) ~ 163 
概率 ~ 32 
高 斯 ~ 64, 163 
过 程 的 概率 ~ 186 
几何 ~ 162 
ЕЯ ~ 163, 262 
КЛ Ж 418 
柯 西 ~ 163 

离散 均匀 ~ 162 
离散 型 ~ 162 

Я Жо 178 
帕斯卡 ~ 162 
平稳 ~ 117 
奇异 ~ 164 

双 指 数 163 

双 指 数 分 布 ~ 265 
随机 癌 量 的 概率 ~ 34 
韦 布尔 ~ 265 


вижу 


п 维 高 斯 ~ 168 
稳定 ~ 376 

学 生 ~ 163, 263 
Æla, ЕЕ ~ 163 
1Е У ~ 64, 163 

~ 的 眷 积 261 

~ В 50 
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~ 的 相合 性 (等 价 性 ) 373, 386 
TMAR 33 


广义 ~ 165 

随机 变量 的 ~ 33, 179 
БЕЛЛА ЕЈ 34 

п Ж ~ 167 

稳定 ~ 376 
无 限 可 分 ~ 373 
正则 ~ 239 


IT 10 


~ 的 原子 10 


分 解 392 


p 398 


分 配 问题 7 

分 位 函数 387 

分 文 过 程 112 

封闭 线性 流 形 ”291 

IR — 狄 拉克 统计 8 
复数 值 随机 变量 185 
傅 里 时 变换 ”299 

赋 范 埃 尔 米 特 多 项 式 292 


赋 范 泊 松 — 沙 利 耶 多 项 式 293 


放 回 抽样 5, 7 


С 


概率 , 第 一 和 第 二 类 错误 的 ”392 


TAW ~ 12 
结局 的 ~ 11 
破产 的 ~ 82, 86 
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首次 进入 状态 了 的 ~ 126 
首 返 状态 7 的 ~ 126 
验 后 的 ~ 26 
验 前 的 ~ 26 
概率 测度 135 
概率 空间 , 完备 的 ”161 
有 限 维 的 ~ 268 
~ 的 直 积 29 
概率 论 的 公理 138 
概率 模型 69, 246 
广义 的 ~ 134 
概率 — 统计 模型 69, 246 
试验 ~ 246 
内 贝尔 不 等 式 16 
高 斯 分 布 的 半 不 变量 315 
~ 分布 的 均值 , 方差 254 
~ 过程 330 
~ — ЖЕРАР 269, 332 
~ 随机 变量 262 
Ж 323, 329 


~ МЕ, 分 量 独 立 性 准则 326 


~ 向 量 323, 326 
~ 序列 330 
ЗУ — 施 米 特 正 交 化 ”290 
更 新 过 程 272, 273 
公式 
由 于 斯 ~ 25 
分 部 积分 ~ 217 
概率 的 乘法 ~ 25 
联系 矩 和 半 不 变量 ~ 312 
逆转 ~ 306 
全 概率 ~ 55, 75, 77 
数学 期 望 的 换算 ~ 205 
斯 特 林 ~ 21 
条 件数 学 期 望 的 换算 ~ 244 
估计 量 41, 257 
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成功” 概率 的 ~ 69 
伯 因 斯坦 ~ 54 
均 方 最 优 ~ 41, 257 
Ea ~ 69,251 
合 ~ 69 
有 效 ~ 69 
最 大 似 然 ~ 22 
最 优 线性 ~ 41, 288, 297 
关于 条 件数 学 期 望 号 下 收敛 性 的 定理 
230 
ГУ ЛЕТЕ ВЕ 241 
~ ЛА 165 
~ 随机 变量 180 
规范 正 交 可 数 基 底 291 
规范 正 交 系 287 
过 程 
布朗 运动 ~ 330 
独立 增 量 ~ 331 
分 支 ~ 112 
高 斯 ~ 330 
高 斯 一 马尔 可 夫 ~ 332 
更 新 ~ 272 
号 尔 可 夫 ~ 269 
条 件 维 纳 ~ 332 
维 纳 ~ 330 
过 程 的 典型 轨道 51 
~ 的 轨道 “186 


H 


险 尔 系 293 
赫 尔 德 不 等 式 202 
海 利 — 布雷 引 理 347 
海 林 格 积分 395 
函数 
半 连 续 ~ 343 
ЖЯ] Е ~ 221 


名 词 索 引 


分 布 ~ 33, 64 
更 新 ~ 273 
哈 尔 ~ 295 
集中 ~ 321 
可 测 ~ 178 
拉 德 马赫 ~ 294 
示 性 ~ 32 
误差 — 65 
分 布 ~ 4tt 
经 验 分 布 ~ 411 
函数 的 适当 集合 148 
哈恩 分 解 ” 392 
恒等式 
REDMI ~ 15 
WER ~ 223 
瓦尔 德 ~ 104 
后 向 方程 114 
~ 的 矩阵 形式 113 
柯 尔 莫 戈 洛 夫 - 查 普 曼 ~ 113 
换 元 积分 法 221 
回归 曲线 ”258 
REA 312 


Ј 


积分 , 海 林 格 395 
勒 贝 格 ~ 190 
勒 贝 格 — 斯 蒂 尔 切 斯 ~ 191, 207 
黎 曼 ~ 214 
ЖЕ 一 НЫ ~ 191, 207 
E~ 215 
下 ~ 215 
积分 定理 49, 60 
基本 事件 4 
~ 的 巴 拿 赫 空间 4, 138 
~ 的 概率 11 
基本 收敛 ”340, 341, 346 


基本 性 , 阶 平 均 收敛 的 ”275, 282 
依 概率 收敛 的 ~ 275, 280 
以 概率 1 收敛 的 ~ 275, 280 
极限 可 忽略 性 ”369 
集合 代数 的 独立 性 27, 28 
集合 138 
~F 9 
~ ЗЕ 09, 138 
~ 对 称 差 42, 138 
~ Ж 10 
о У 9, 138 
集合 的 代数 138 
分 割 诱导 的 ~ 10 
平凡 的 ~ 10 
集 系 的 独立 性 27, 28, 90 
几何 概率 236 
几乎 必然 193 
~ х 275, 386 
~ 收敛 的 柯 西 准则 280 
几乎 处 处 193 
计数 测度 394 
简单 随机 变量 178 
建立 过 程 的 坐标 方法 268 
渐 近 小 条 件 ”369 
~ 绝对 连续 性 401 
~ ATE 401 
~ 完全 可 分 性 401 
~ МЕ 369 
р РУ 275 
结局 4 
~ 的 巴 拿 赫 空间 ”283 
~ 的 概率 11 
经 典 分 布 16 
~ 模型 16 
局 部 极限 定理 49, 55 
Ж 191 
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混合 ~ 312 

绝对 ~ 191 

人 法 353 

~ 母 函数 223 

~ 问题 , 唯一 性 准则 317 
РЁ 

非 负 定 ~ 255 

随机 ~ 110 

и ~ 333 

协 方差 的 ~ 255, 325 

转移 概率 的 ~ 110 

~ 代数 性 质 
EAA, 分 布 的 ”261 
绝对 连续 ”测度 163, 204, 398 

~ 随机 变量 178 

~ 型 概率 分 布 163, 204, 398 
绝对 连续 性 204 

测度 的 ~ 204, 401, 398 

概率 分 布 的 ~ 163, 401 

渐 近 的 ~ 400 
均 方 收敛 275 

~ RÆ 257 

~ 最 优 估 计量 42, 256 
均值 36 
均值 向 量 325 
卡尔 莱 曼 和 矩 问 题 唯一 性 准则 ”318 
卡尔 莱 曼 准则 ( 矩 问题 的 唯一 性 ) 318 


K 


康 托 尔 函数 164 
柯 尔 莫 戈 洛 夫 公理 化 138 
ВКС — 莱 维 — ЕК 376 
柯 西 — 布 尼 科 夫 斯 基 不 等 式 37, 201 
柯 西 — 施 岂 效 不 等 式 ”37 
柯 西 准则 (几乎 必然 收敛 ) 280 

~ (р> 1 阶 平均 收敛 ) 282 


~ ( 依 概率 收敛 ) 280 
н] РАЖ 178 
可 测 空 间 135 
~ (В, . 罗 (R)) 148 
~ (В”,.®(В”)) 150 
~ (&°°,.#(Е°)) 152 
~ (Ri,.B(RT)) 153 
~ (С,.®(С)) 155 
> (р,.®(Р)) 156 


~ По, На) 156 

ЄТ ЄТ 
可 测 性 , 关于 分 割 的 78 
多 一 可 测 性 78 
с— 可 加 测度 135 
可 交换 事件 组 ”140 
可 逆 著 ”102 
可 数 可 加 性 135 
可 重 置 事 件 组 ”140 
7,7 р 292 
FR 138 


空间 Z2(p > 1) 的 完备 性 282, 283 


空间 的 直 积 29, 156 
库 尔 贝 元 信 息 量 400 


L 


拉 奥 — 克拉 默 不 等 式 71 
Е ЗА 294 
MFR — 尼 科 迪 姆 导数 204 
ЖЖ НУРУН Е 381 
勒 贝 格 测度 ”161, 165, 169 

~ 导数 398 

~ 分 解 398 

~ 积分 “190 

~ RER 161 


~ 一 РЖИ 161, 165 
~ 一 斯 还 尔 切 斯 积分 191, 207 


类 , 单调 142 

类 , 最 小 单调 142 
ЖААН 312 
离散 型 测度 162 
离散 时 间 随 机 过 程 
离散 型 随机 变量 
KERI 
KE- 斯 蒂 尔 切 斯 积分 191, 214 
李 雅 普 诺 夫 不 等 式 201 
连续 时 间 随 机 过 程 
连续 型 随机 变量 

链 的 吸收 状态 110 
两 两 独立 性 ”28, 41 


М 


马尔 可 夫 过 程 269 
马尔 可 夫 链 ”109, 110, 272 
平稳 的 ~ 117 
齐 次 的 ~ 110 
~ 的 试验 模型 108 
~ 状态 的 巴 拿 攻 空间 110 
马尔 可 夫 性 ”110 
麦克 斯 韦 — 波 尔 茨 曼 统 计 8 
密度 
二 维 高 斯 ~ 168; 256 
条 件 概率 分 布 的 ~ 235 
п 维 高 斯 分 布 的 ~ 168 
闵可夫 斯 基 不 等 式 202 
模型 , 概率 - 统计 69 
马尔 可 夫 链 的 试验 ~ 108 
无 限 多 个 结局 的 试验 ~ 133 
一 维 伊 金 格 ~ 21 
有 限 多 个 结局 的 试验 ~ 11 
Е 223 | 
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М 


п 维 分 布 函 数 167, 168 


п 维 高 斯 分 布 的 特征 函数 323 


п ЖАН 168 
Е 162 


Р 


则 塞 瓦 尔 等 式 291 

排列 组 合 12 

庞 加 莱 恒 等 式 15 

匹配 (或 标准 ) 391 

频率 45 

平均 平方 收敛 275 — 
~ 收 合 的 柯 西 准则 282 
~ 随机 游 动 时 间 88 

平稳 的 瑟 尔 可 夫 链 117 

破产 概率 ”82, 86 

破产 问题 83 

普 拉 特 引 理 ”222 


Q 


ЗРК ЫК РЕ 110 
奇异 测度 164, 398 

~ (相互 ) 398 
前 向 方程 113 

~ КАНЕ, 113 
强 测度 ”394 
强大 数 定律 , 辛 钦 ”348 
强 马 尔 可 夫 性 ”125 
切 比 雪夫 不 等 式 46, 200 
EFKA 284 
求 概 率 的 古典 方法 12 
区 分 假设 393 
全 概率 公式 ”24, 75, 77 


’ 443 · 
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ӨЙ 340, 341 


~ 的 可 度量 性 381 


S 


散布 程度 39 
Ж 50 
上 积分 215 
上 积分 和 213 
上 黎 曼 积分 216 
时 间 
混合 ”312 
绝对 ~ 191 
НК ~ 92 
停止 ~ 102, 83 
示 性 函数 32 
集合 的 ~ 32 
事件 8 
~ 代数 10 
必然 ~ 9 
不 可 能 ~ 9 
~ 的 独立 性 27 
~ Ж 9 
不 相 容 ~ 10 
~ Е 9 
ХР ~ 10 
~ 9 
相 容 ~ 10 
~ Ж 9 
~ 代数 10 
~ ЖІ 10 
试验 29 
适当 集合 原理 143 
ШЕК, ГР 275 
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按 变 差 ~ 392 
依 分 布 ~ 275, 355, 385 
几乎 必然 ~ 274, 386 
р 阶 平均 ~ 274 
均 方 ~ 274 
平方 平均 ~ 275 
弱 ~ 340, 341 
依 测度 ~ 274 
依 分 布 律 275, 355, 385 
依 概 率 ~ 274, 386 
依 概 率 1] ~ 274, 386 
首次 进入 状态 i 的 概率 126 
首 返 时 间 92 
首 返 状态 7 的 概率 126 


数理 统计 49, 69 


数理 统计 的 基本 定理 411 
数量 积 286 
数学 期 望 ”36, 189, 190 
条 件 ~ тт, 225, 227 
~ (条 件 期 望 的 性 质 ) 228 
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样本 方差 254 
样本 均值 254 
一 个 概率 空间 方法 385, 387 
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一 致 可 积 性 ”197 
一 致 性 169, 173 

~ 条 件 174, 267 

~ ЖД] 419 
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依 测度 收敛 ”274 
依 分 布 收敛 ”275, 355, 385 
依 分 布 律 收敛 ”275, 355, 385 
KREEKA 274, 385 

~ 的 柯 西 准则 280 

~ 可 度量 性 381 
以 概率 1 收敛 ”274, 386 
因子 分 解 定理 ”247 
引 理 

RER -KRA ~ 277 

法 图 ~ 196 


法 图 (条 件数 学 期 望 ) ~ 253 


普 拉 特 ~ 222 
斯 鲁 斯 基 ~ 283 
优 (GR) 测度 394 
o 一 有 限 测 度 135 
有 限 多 个 结局 的 试验 模型 ”11 
有 限 可 加 测度 133 
有 限 可 加 概率 134 
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有 限 维 分 布 函数 ”267 


有 限 维 分 布 意义 上 的 基本 收敛 ”346 


有 限 维 概率 空间 268 
有 限 维 经 验 分 布 函数 411 
有 效 估 计量 70 


有 序 样本 5, 6,7 
有 重复 组 合 5 
原理 , 不 变 367 
反射 ~ 92 
适当 集合 ~ 143 
原子 284 
分 割 的 ~ 10 
~ 测度 284 
Р МГ 284 
允许 重复 的 置换 5 


// 


在 “0” 连 续 测度 136 
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增 量 的 独立 性 331 
ESHE 398 

~ РЖ 297 

~ 规范 系 287 


~ 随机 变量 系 182, 287 
正 态 相关 定理 的 问 量 情形 328 


名 词 索 引 ‚447. 
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置信 区 间 69, 72 
~ 的 水 平 72 
~ 的 置信 和 度 72 
中 位 数 43 | 
中 心 极 限定 理 353, 356, 359, 364, 369 
~ ВУ Е 405 
重合 问题 12 
柱 集 152 
转移 概率 110, 269 
n W ~ 126 
~ ЖЕЕ 110 
组 合 数 5 
最 大 似 然 估计 量 21 
最 大 相关 系数 264 
最 小 单调 类 142 
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R = (оо, оо) — 实数 的 集合 , 实 直 线 , 一 维 欧 几 里 得 空间 


R+ = (0, оо) 

К = [-оо, оо] 一 一 扩充 实 直 线 : В В {о} | оо} 
В, = (0, оо] 

О 一 一 有理数 的 集合 

Q+ = ОПК: 


R? —d 维 欧 几 里 得 空间 

М 一 一 目 然 数 : {0,1,2,…} 或 {1,2,...} 
7 一 一 整数 的 集合 : (0, 土 1, +2,- } 

C 一 一 复数 的 集合 


(a,b) = { ЕВ:а<т<5}, [a,b] = {rER:a<z<b} 


(a,b) = {xrER:a <z <), [la,b)={rEeŘ:a<zr<b} 


шЁХ-—ЖЕЁХСЕ 的 下 界 
sup X — Жб ХСВНЕЯ 
inf En -一 一 集合 X = {tm tmy; РЕЯ 
sup т, 一 一 集合 X= {zmzm+l……} 的 上 界 


nm 


Пт, € R,n > 1, 则 


lim inf zn = Шах» = sup inf zn, Шпзирт, = ших, = inf sup zn, 
n— O00 n ъ>1%2т 多 一 Oo п 723 >т 


lim £n = ж © Ших, = тт, = z < Нах, > z > limz,. 


. 456 · 常用 数学 符号 


对 于 实数 


xt = тах(х,0), 2 = — min(z, 0) 

Ф а Ф т #0, 
т = 

0, 者 z=0 

т Vy = тах(х, у), т Лу = шщ(х, у) 
[т] 或 |z] 不 大 于 r 的 最 大 整数 
[т] 一 一 大 于 或 等 于 z 的 最 小 整数 
sign т 一 一 实数 r 的 符号 : 


1, 看 z>0， 
signzr= <0, Ж хх=0, 
—1, 者 z<0 


(有 时 , 4 х 20 时, № sign = 1; 4 z < 0 时, 设 sign = 一 1) 
zn э г, ЖН n € {1,2,...}, 表示 limt, = z 
zn 和 表示 zi < zz<.…;zn1x 表 示 z%1 且 limzn=z 
zn | 表示 т > z2 >… jan |e RR rn | H liman = 2 


对 于 复数 z=a+ib, 其 中 a,bE R, m i= \/-1 ЖЕ 


@=а— 10 г WEHA X 
|z| z ВИ (= Ма? + 52) 


Ве z Ж Imz 


2 的 实 部 和 虚 部 : Re z = а, Іт z =b 
对 于 d- 维 欧 几 里 得 空间 Ri 
lz| —— т = (z1,… za) 的 欧 几 里 得 范 数 , 即 т? +... 十 Z3 
x-y ВХ (т, у) х = (£1, za) Ту = (Y1, ,Ya) 的 数量 积 ， В ziyi +. -- ауа 
集 б 论 


4nT 表 示 4S4zcSc…;i41T4 表 示 41 且 U4n=4 
An | 表示 А, 2 А›2...; А» | АЖЖМ А, | НПА, = А 


lim sup А», 或 lim4。 或 N | U An) 一 一 属于 无 限 多 个 集合 An(n >1) 的 点 的 


т>21 \п2т 
集合 


liminf An, 或 limAhn, 或 |) ( N an) 一 一 属于 所 有 ( 仅 可 能 有 限 个 4。 除 外 ) Æ 


mi \n2m 


常用 数学 符号 +457. 


合 Adn > 1) 的 点 的 集合 
ІА 或 ГА) 一 一 集合 А 的 示 性 函数 


{:…} 一 一 集合 
数学 符号 
< 一 一 绝对 连续 
~ — 等 价 
上 + — #8 
= 0(9) — Пт j = 
f = о) -lim (2) =0 


f = O(g) — lim sup 


10-а (2) =] 


fog 复合 
{*9 卷 积 


Í| < 


o | I Il o 
С) гг гл щл г 
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